JP3251127B2 - 映像データ処理方式 - Google Patents
映像データ処理方式Info
- Publication number
- JP3251127B2 JP3251127B2 JP16199694A JP16199694A JP3251127B2 JP 3251127 B2 JP3251127 B2 JP 3251127B2 JP 16199694 A JP16199694 A JP 16199694A JP 16199694 A JP16199694 A JP 16199694A JP 3251127 B2 JP3251127 B2 JP 3251127B2
- Authority
- JP
- Japan
- Prior art keywords
- video data
- array
- motion vector
- blur
- motion vectors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title 1
- 239000013598 vector Substances 0.000 claims abstract description 79
- 238000000034 method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 9
- 238000003491 array Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000001419 dependent effect Effects 0.000 abstract 1
- 230000009467 reduction Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
Description
【０００１】
【産業上の利用分野】本発明は、映像強調の分野に関す
るものである。もっと詳しくいえば、本発明は、動く映
像がぼやけるような撮影時間で撮像された映像データの
アレイの強調処理に関する。
るものである。もっと詳しくいえば、本発明は、動く映
像がぼやけるような撮影時間で撮像された映像データの
アレイの強調処理に関する。
【０００２】
【従来の技術】動く映像のぼやけは、スチールカメラや
テレビジョンカメラの如き撮像装置の非ゼロ（ゼロでな
い）撮影時間によって生じることが多い。ぼやけは、撮
影時間を短縮することによって減じうるが、そうする
と、高い光感度が必要となる等の固有の一連の問題をも
たらす。映像ぼけの問題は、当該シーンが急速に動く映
像を含む場合（例えば、モータ・レーシング）、或いは
撮像装置自体がその映像と相対的に動く場合（例えば、
長い撮影時間を要する衛星写真）に一層ひどくなる。
テレビジョンカメラの如き撮像装置の非ゼロ（ゼロでな
い）撮影時間によって生じることが多い。ぼやけは、撮
影時間を短縮することによって減じうるが、そうする
と、高い光感度が必要となる等の固有の一連の問題をも
たらす。映像ぼけの問題は、当該シーンが急速に動く映
像を含む場合（例えば、モータ・レーシング）、或いは
撮像装置自体がその映像と相対的に動く場合（例えば、
長い撮影時間を要する衛星写真）に一層ひどくなる。
【０００３】映像の動きによるぼやけがデコンボルーシ
ョン（deconvolution ）技法を用いて減少できること
は、公知である。ぼやけた映像内の与えられた点におけ
る映像データ値は、当該点における実際の瞬間的映像の
撮影時間とその運動とのコンボルーション（たたみ込
み）と考えてよい。このコンボルーションは、撮影時間
を表す変数の値と、動きを一様な直線運動に近似できる
と仮定した映像の動きとに逆変換することができる。
ョン（deconvolution ）技法を用いて減少できること
は、公知である。ぼやけた映像内の与えられた点におけ
る映像データ値は、当該点における実際の瞬間的映像の
撮影時間とその運動とのコンボルーション（たたみ込
み）と考えてよい。このコンボルーションは、撮影時間
を表す変数の値と、動きを一様な直線運動に近似できる
と仮定した映像の動きとに逆変換することができる。
【０００４】この技法の数学的扱い方は、１９８７年Ad
dison Wesley発行Gonzalez及びWintz による「Digital
Image Processing」の２２４〜２３２頁に記載されてい
る。空間領域におけるコンボルーションは、空間周波数
領域における伝達関数による乗算と考えられ、伝達関数
は、撮影時間及び映像の動きの速度に関する解が可能で
ある。
dison Wesley発行Gonzalez及びWintz による「Digital
Image Processing」の２２４〜２３２頁に記載されてい
る。空間領域におけるコンボルーションは、空間周波数
領域における伝達関数による乗算と考えられ、伝達関数
は、撮影時間及び映像の動きの速度に関する解が可能で
ある。
【０００５】このような技法は、存在する動きの度合い
が、最初から既知である（例えば、一定した衛星の軌
道）か又はぼやけを減らそうとする試行錯誤の繰返しに
よって決められる場合に、スチール映像や衛星映像の如
き映像を強調（enhance ）するのに使われてきた。ぼや
けを減じる技法は有効であるが、伝達関数を解くという
問題があるため、その適用が専門家に限られてきてお
り、何か教科書が要る新奇なものと考えられるかも知れ
ない。
が、最初から既知である（例えば、一定した衛星の軌
道）か又はぼやけを減らそうとする試行錯誤の繰返しに
よって決められる場合に、スチール映像や衛星映像の如
き映像を強調（enhance ）するのに使われてきた。ぼや
けを減じる技法は有効であるが、伝達関数を解くという
問題があるため、その適用が専門家に限られてきてお
り、何か教科書が要る新奇なものと考えられるかも知れ
ない。
【０００６】
【発明が解決しようとする課題】本発明の課題は、映像
データ動き補正補間システムを利用し、ぼやけ関数をデ
コンボルブしてぼやけが減少した（強調された）映像デ
ータを得ることである。
データ動き補正補間システムを利用し、ぼやけ関数をデ
コンボルブしてぼやけが減少した（強調された）映像デ
ータを得ることである。
【０００７】
【課題を解決するための手段及び作用】本発明は、一面
からみて、動く映像がぼやけるような撮影時間で撮像し
た映像データのアレイを処理する装置を提供する。この
装置は、映像データのアレイの対応する部分に関連する
動きベクトルのアレイを検出する手段（各動きベクトル
は、時間的に間隔をおいた映像データアレイ間の上記部
分の中の対応するものの映像の動きを表す。）と、上記
撮影時間と、上記検出手段によって検出された当該部分
に対応する動きベクトルとに応じて、上記部分の各々か
らぼやけ関数をデコンボルブ（deconvolve）してぼやけ
が減少した映像データのアレイを生じる手段とを具え
る。
からみて、動く映像がぼやけるような撮影時間で撮像し
た映像データのアレイを処理する装置を提供する。この
装置は、映像データのアレイの対応する部分に関連する
動きベクトルのアレイを検出する手段（各動きベクトル
は、時間的に間隔をおいた映像データアレイ間の上記部
分の中の対応するものの映像の動きを表す。）と、上記
撮影時間と、上記検出手段によって検出された当該部分
に対応する動きベクトルとに応じて、上記部分の各々か
らぼやけ関数をデコンボルブ（deconvolve）してぼやけ
が減少した映像データのアレイを生じる手段とを具え
る。
【０００８】本発明は、標準方式変換を行うための映像
データの動き補正補間用として開発されてきたシステム
を、一般に適用可能な映像ぼやけ減少システムの一部と
して、動く映像に対する動きベクトルを検出するのに利
用できることを認めて、これを利用するものである。ま
た、異なる動きベクトルは、複雑な運動シーンと、該シ
ーンの対応部分に適用される適切なぼやけ減少デコンボ
ルーションの異なる部分に対して識別できる。こうする
と、上記技法の効果が著しく強められる。
データの動き補正補間用として開発されてきたシステム
を、一般に適用可能な映像ぼやけ減少システムの一部と
して、動く映像に対する動きベクトルを検出するのに利
用できることを認めて、これを利用するものである。ま
た、異なる動きベクトルは、複雑な運動シーンと、該シ
ーンの対応部分に適用される適切なぼやけ減少デコンボ
ルーションの異なる部分に対して識別できる。こうする
と、上記技法の効果が著しく強められる。
【０００９】動きベクトルを識別する負担を軽くするた
め、上記部分をピクセル値のアレイで構成するのがよ
い。このように対応する動きベクトルをピクセル値のブ
ロックで近似させると、システムの処理要件と達成され
る結果の精度とをうまく折衷したものが得られる。
め、上記部分をピクセル値のアレイで構成するのがよ
い。このように対応する動きベクトルをピクセル値のブ
ロックで近似させると、システムの処理要件と達成され
る結果の精度とをうまく折衷したものが得られる。
【００１０】ピクセル値のアレイの各々に対応する動き
ベクトルを識別し終わると、どのベクトルを実際に使用
するかについて、少なくとも多少の柔軟性を与えること
が大切である。したがって、動きベクトルのアレイを検
出する上記の手段は、ピクセル値のアレイの各々に対し
複数の候補動きベクトルを検出し、選択手段がこれら候
補動きベクトルの中から各ピクセル値に対応すべき動き
ベクトルを選択するようにするのがよい。
ベクトルを識別し終わると、どのベクトルを実際に使用
するかについて、少なくとも多少の柔軟性を与えること
が大切である。したがって、動きベクトルのアレイを検
出する上記の手段は、ピクセル値のアレイの各々に対し
複数の候補動きベクトルを検出し、選択手段がこれら候
補動きベクトルの中から各ピクセル値に対応すべき動き
ベクトルを選択するようにするのがよい。
【００１１】上記部分（ピクセル値のアレイ）に対し複
数の候補動きベクトルを与え、その中から使用すべき特
定の動きベクトルをピクセル毎に選択することは、与え
られた部分内のピクセル値が実際に表すものの間に、余
り不利な処理要件を課すことなく差を与えるものであ
る。
数の候補動きベクトルを与え、その中から使用すべき特
定の動きベクトルをピクセル毎に選択することは、与え
られた部分内のピクセル値が実際に表すものの間に、余
り不利な処理要件を課すことなく差を与えるものであ
る。
【００１２】個々の出力ピクセル値を作るに必要なデコ
ンボルーション過程には、若干数の周囲のピクセル値か
らの関与が必要となる。システムの効率をよくするため
には、一時記憶などの過度な要求なしに該システムを通
過させうる連続ストリームとして、映像データを該シス
テムに入力することが望ましい。これは、或る数の候補
動きベクトルの１つに基くことになるデコンボルーショ
ンの場合、問題を生じる。このような場合、必要とされ
る個々のデコンボルーションは、少なくとも結果を左右
する幾つかのピクセル値がその装置の少なくとも一部分
を通過し終わるまで、特定されないかも知れない。これ
を処理するためには、上記デコンボルブする手段が、上
記候補動きベクトルの各々に対する各ピクセル値につき
デコンボルーションを行って複数のぼやけが減少したピ
クセル値を発生し、上記選択手段によって制御されるマ
ルチプレクサ（並直列変換器）が、上記選択された動き
ベクトルに対応する上記候補のぼやけが減少した映像ピ
クセル値の１つに切替えて、上記のぼやけが減少した映
像データのアレイの一部とするのがよい。
ンボルーション過程には、若干数の周囲のピクセル値か
らの関与が必要となる。システムの効率をよくするため
には、一時記憶などの過度な要求なしに該システムを通
過させうる連続ストリームとして、映像データを該シス
テムに入力することが望ましい。これは、或る数の候補
動きベクトルの１つに基くことになるデコンボルーショ
ンの場合、問題を生じる。このような場合、必要とされ
る個々のデコンボルーションは、少なくとも結果を左右
する幾つかのピクセル値がその装置の少なくとも一部分
を通過し終わるまで、特定されないかも知れない。これ
を処理するためには、上記デコンボルブする手段が、上
記候補動きベクトルの各々に対する各ピクセル値につき
デコンボルーションを行って複数のぼやけが減少したピ
クセル値を発生し、上記選択手段によって制御されるマ
ルチプレクサ（並直列変換器）が、上記選択された動き
ベクトルに対応する上記候補のぼやけが減少した映像ピ
クセル値の１つに切替えて、上記のぼやけが減少した映
像データのアレイの一部とするのがよい。
【００１３】究極的にただ１つのみを使用することにな
る複数のデコンボルーションの動作は、一見したとこ
ろ、システムを実施するに必要なハードウェアの量が増
して不利のように思われるであろう。しかし、同じピク
セルデータ値に繰返しアクセスする必要なしに連続パイ
プラインのように処理できることを考えると、かかる方
法から総合的な利点が得られる。
る複数のデコンボルーションの動作は、一見したとこ
ろ、システムを実施するに必要なハードウェアの量が増
して不利のように思われるであろう。しかし、同じピク
セルデータ値に繰返しアクセスする必要なしに連続パイ
プラインのように処理できることを考えると、かかる方
法から総合的な利点が得られる。
【００１４】さきに述べたとおり、異なる動きベクトル
を映像の異なる部分に適用するシステムの能力は、多く
の動く映像を含むシーンを処理することを可能とする。
かようなシーンは、しかし、シーン内の物体間の境界に
問題を起こす。かかる問題を処理する第１段階として、
映像データの上記アレイ内の、ほぼ共通の動きベクトル
を共有する領域（部分）間の境界を検出する手段をシス
テムに設けるのが望ましい。或る領域内でほぼ共通の動
きベクトルを共有することは、その領域が単一の物体を
表すことを示す（その物体は、複数の異なる部分を含む
かも知れないが、すべて一緒に動く。）。
を映像の異なる部分に適用するシステムの能力は、多く
の動く映像を含むシーンを処理することを可能とする。
かようなシーンは、しかし、シーン内の物体間の境界に
問題を起こす。かかる問題を処理する第１段階として、
映像データの上記アレイ内の、ほぼ共通の動きベクトル
を共有する領域（部分）間の境界を検出する手段をシス
テムに設けるのが望ましい。或る領域内でほぼ共通の動
きベクトルを共有することは、その領域が単一の物体を
表すことを示す（その物体は、複数の異なる部分を含む
かも知れないが、すべて一緒に動く。）。
【００１５】物体間の境界を識別し終わると、異なる物
体間の境界でぼやけを減じるデコンボルーションの不適
切な適用によって生じる可能性がある問題は、上記境界
を検出する手段に応答して上記デコンボルブする手段か
らのぼやけが減じた映像データと未処理映像データとを
一緒に混合するミキサを設け、検出された領域間の境界
では、ほぼ全くの未処理映像データを上記ミキサから出
力し、上記境界から離れるに従ってぼやけを減じた映像
データの割合を増して上記ミキサから出力するようにす
ることにより、軽減できる。
体間の境界でぼやけを減じるデコンボルーションの不適
切な適用によって生じる可能性がある問題は、上記境界
を検出する手段に応答して上記デコンボルブする手段か
らのぼやけが減じた映像データと未処理映像データとを
一緒に混合するミキサを設け、検出された領域間の境界
では、ほぼ全くの未処理映像データを上記ミキサから出
力し、上記境界から離れるに従ってぼやけを減じた映像
データの割合を増して上記ミキサから出力するようにす
ることにより、軽減できる。
【００１６】ミキサは、境界では、不適切なぼやけ減ら
しデコンボルーションを適用して潜在的にもっと邪魔な
人為雑音を導入する危険を冒すより、未処理のぼやけた
映像データを選択するようにするのがよい。
しデコンボルーションを適用して潜在的にもっと邪魔な
人為雑音を導入する危険を冒すより、未処理のぼやけた
映像データを選択するようにするのがよい。
【００１７】デコンボルブする手段の特に効率的な構成
は、処理される映像データの当該部分に対する動きベク
トルの直交方向成分に応じて選択される一連のフィルタ
係数をもつ２次元有限インパルス応答フィルタを含むも
のである。
は、処理される映像データの当該部分に対する動きベク
トルの直交方向成分に応じて選択される一連のフィルタ
係数をもつ２次元有限インパルス応答フィルタを含むも
のである。
【００１８】ぼやけ伝達関数の映像の空間周波数領域で
の作用を理解すると、有限インパルス応答フィルタを空
間領域への逆変換に使用するのが特に適することが分か
る。かかるフィルタは、容易にパイプラインのように動
作し、データがフィルタに沿って順次クロックされ、各
クロック周期にろ波された出力を生じる。
の作用を理解すると、有限インパルス応答フィルタを空
間領域への逆変換に使用するのが特に適することが分か
る。かかるフィルタは、容易にパイプラインのように動
作し、データがフィルタに沿って順次クロックされ、各
クロック周期にろ波された出力を生じる。
【００１９】有限インパルス応答フィルタ用のフィルタ
係数は、動きベクトルの直交成分及び映像の撮影時間に
よって決まることが認められるであろう。それらの変化
を有効に処理するためには、一連の考えられる動きベク
トル及び撮影時間に対する一連のフィルタ係数を記憶す
る、上記フィルタ用のフィルタ係数メモリを設け、検出
された動きベクトル成分及び特定の当該撮影時間に応じ
てそれらのフィルタ係数をトリガし使用するのがよい。
係数は、動きベクトルの直交成分及び映像の撮影時間に
よって決まることが認められるであろう。それらの変化
を有効に処理するためには、一連の考えられる動きベク
トル及び撮影時間に対する一連のフィルタ係数を記憶す
る、上記フィルタ用のフィルタ係数メモリを設け、検出
された動きベクトル成分及び特定の当該撮影時間に応じ
てそれらのフィルタ係数をトリガし使用するのがよい。
【００２０】本発明は、他の面からみて、動く映像がぼ
やけるような撮影時間で撮った映像データのアレイを処
理する方法を提供する。この方法は、映像データのアレ
イの対応する部分に関連する動きベクトルのアレイを検
出するステップ（各動きベクトルは、時間的に間隔をお
いた映像データアレイ間の上記部分の中の対応するもの
の映像の動きを表す。）と、上記撮影時間と、当該部分
に対応する、検出された動きベクトルとに応じて、上記
部分の各々からぼやけ関数をデコンボルブしてぼやけが
減少した映像データのアレイを生じるステップとを含
む。
やけるような撮影時間で撮った映像データのアレイを処
理する方法を提供する。この方法は、映像データのアレ
イの対応する部分に関連する動きベクトルのアレイを検
出するステップ（各動きベクトルは、時間的に間隔をお
いた映像データアレイ間の上記部分の中の対応するもの
の映像の動きを表す。）と、上記撮影時間と、当該部分
に対応する、検出された動きベクトルとに応じて、上記
部分の各々からぼやけ関数をデコンボルブしてぼやけが
減少した映像データのアレイを生じるステップとを含
む。
【００２１】
【実施例】以下、図面により本発明を具体的に説明す
る。図１は、本発明による映像ぼやけ減少装置（実施
例）を示すブロック図である。ビデオデータストリーム
は、ベクトル選択器２及び第１，第２，第３デコンボル
ーション手段４，６，８に夫々入力される。映像のブロ
ック（部分）に対する４つの候補動きベクトル（Ｖ１，
Ｖ２，Ｖ３及びゼロ動きベクトル）がベクトル選択器２
に入力される。候補動きベクトルは、動き補正標準方式
変換のための、英国公開特許出願ＧＢ−Ａ−２２３１７
４９号（ソニー株式会社）に記載された如き装置及び技
法を用いて検出されることを認識されたい。
る。図１は、本発明による映像ぼやけ減少装置（実施
例）を示すブロック図である。ビデオデータストリーム
は、ベクトル選択器２及び第１，第２，第３デコンボル
ーション手段４，６，８に夫々入力される。映像のブロ
ック（部分）に対する４つの候補動きベクトル（Ｖ１，
Ｖ２，Ｖ３及びゼロ動きベクトル）がベクトル選択器２
に入力される。候補動きベクトルは、動き補正標準方式
変換のための、英国公開特許出願ＧＢ−Ａ−２２３１７
４９号（ソニー株式会社）に記載された如き装置及び技
法を用いて検出されることを認識されたい。
【００２２】候補動きベクトルの１つは、ゼロ動きベク
トルである。その他の候補動きベクトルＶ１，Ｖ２及び
Ｖ３は、夫々デコンボルーション手段４，６及び８に供
給される。
トルである。その他の候補動きベクトルＶ１，Ｖ２及び
Ｖ３は、夫々デコンボルーション手段４，６及び８に供
給される。
【００２３】ベクトル選択器２は、前記ブロックに対す
る候補ベクトル（Ｖｅｃ／ｂｌ）からピクセル毎に、個
々のピクセルに最も適したベクトル（Ｖｅｃ／ｐｉ）を
選択する。公知の技法によれば、この選択は、各ベクト
ルを用いて或る区域の映像ピクセル値から次のものに投
影し、標的のピクセル値がそれらのソースとどれ位よく
合うかをテストして決めることにより、達成されること
になる。
る候補ベクトル（Ｖｅｃ／ｂｌ）からピクセル毎に、個
々のピクセルに最も適したベクトル（Ｖｅｃ／ｐｉ）を
選択する。公知の技法によれば、この選択は、各ベクト
ルを用いて或る区域の映像ピクセル値から次のものに投
影し、標的のピクセル値がそれらのソースとどれ位よく
合うかをテストして決めることにより、達成されること
になる。
【００２４】各ピクセルに対して選択された特定のベク
トル（Ｖｅｃ／ｐｉ）は境域プロセッサ１０に送られ、
そこで、ピクセル値全部に対して選択されたベクトルの
アレイが集められ、後述のように解折される。ベクトル
選択器２はまた、ピクセルベクトル選択値を遅延ユニッ
ト１２に出力し、該ユニット１２を介して該選択値はマ
ルチプレクサ（ＭＵＸ）１４に送られる。
トル（Ｖｅｃ／ｐｉ）は境域プロセッサ１０に送られ、
そこで、ピクセル値全部に対して選択されたベクトルの
アレイが集められ、後述のように解折される。ベクトル
選択器２はまた、ピクセルベクトル選択値を遅延ユニッ
ト１２に出力し、該ユニット１２を介して該選択値はマ
ルチプレクサ（ＭＵＸ）１４に送られる。
【００２５】マルチプレクサ１４は、第１，第２及び第
３デコンボルーション手段４，６及び８から夫々出力を
受ける。マルチプレクサ１４はまた、ゼロ動き候補動き
ベクトルに対応する１つのチャンネルにおける未処理ビ
デオデータをも受ける。マルチプレクサ１４は、遅延ユ
ニット１２の出力に応じてその入力の１つを選択し、ミ
キサ１６に出力する。遅延ユニット１２は、ベクトル選
択器２及び第１，第２，第３デコンボルーション手段
４，６，８における遅延を一致させるように選ばれる。
第１，第２及び第３デコンボルーション手段４，６及び
８は夫々、後述のようなぼやけが減少したピクセル値を
発生する動作をする。
３デコンボルーション手段４，６及び８から夫々出力を
受ける。マルチプレクサ１４はまた、ゼロ動き候補動き
ベクトルに対応する１つのチャンネルにおける未処理ビ
デオデータをも受ける。マルチプレクサ１４は、遅延ユ
ニット１２の出力に応じてその入力の１つを選択し、ミ
キサ１６に出力する。遅延ユニット１２は、ベクトル選
択器２及び第１，第２，第３デコンボルーション手段
４，６，８における遅延を一致させるように選ばれる。
第１，第２及び第３デコンボルーション手段４，６及び
８は夫々、後述のようなぼやけが減少したピクセル値を
発生する動作をする。
【００２６】境域プロセッサ１０は、動く物体を含むシ
ーン内の物体間の境界を識別する作用をする。これは、
映像内の種々のピクセル位置に対して選択された動きベ
クトルを全部調べ、互いに所定の閾内でほぼ共通の動き
ベクトルを示す領域を識別することにより、達成され
る。これら共通の動きベクトルの領域が識別され終わる
と、それらの境界線が描かれ、これがシーン内の異なる
動く物体の境界を表す。マルチプレクサ１４からのぼや
けが減少したピクセル値の出力と同期して、境域プロセ
ッサ１０は、遅延ユニット１８を介してミキサ１６に境
界フラグを出力する。この境界フラグは、シーン内の物
体間の境界にこれから出力されるピクセルの近接度を表
す多ビットワードである。境界フラグにより特定のピク
セルが２物体間の境界にあることが示されると、ミキサ
１６は、未処理ビデオを出力として選択する。境界フラ
グが、動く物体内の境界から更にピクセルが離れること
を次第に示すにつれ、ミキサ１６は、これに対応して、
生の未処理ピクセルよりもぼやけが減少したピクセルを
表すマルチプレクサ１４からの出力の割合が大きくなる
ようにする。ミキサ１６及び境域プロセッサ１０の動作
は、ぼやけを減らすデコンボルーションが適切に適用さ
れない動く物体の境界付近に邪魔な人為雑音が発生する
のを抑圧する働きをする。
ーン内の物体間の境界を識別する作用をする。これは、
映像内の種々のピクセル位置に対して選択された動きベ
クトルを全部調べ、互いに所定の閾内でほぼ共通の動き
ベクトルを示す領域を識別することにより、達成され
る。これら共通の動きベクトルの領域が識別され終わる
と、それらの境界線が描かれ、これがシーン内の異なる
動く物体の境界を表す。マルチプレクサ１４からのぼや
けが減少したピクセル値の出力と同期して、境域プロセ
ッサ１０は、遅延ユニット１８を介してミキサ１６に境
界フラグを出力する。この境界フラグは、シーン内の物
体間の境界にこれから出力されるピクセルの近接度を表
す多ビットワードである。境界フラグにより特定のピク
セルが２物体間の境界にあることが示されると、ミキサ
１６は、未処理ビデオを出力として選択する。境界フラ
グが、動く物体内の境界から更にピクセルが離れること
を次第に示すにつれ、ミキサ１６は、これに対応して、
生の未処理ピクセルよりもぼやけが減少したピクセルを
表すマルチプレクサ１４からの出力の割合が大きくなる
ようにする。ミキサ１６及び境域プロセッサ１０の動作
は、ぼやけを減らすデコンボルーションが適切に適用さ
れない動く物体の境界付近に邪魔な人為雑音が発生する
のを抑圧する働きをする。
【００２７】図２は、図１のデコンボルーション手段
４，６及び８の１つをもっと詳しく示すものである。デ
コンボルーション手段４，６及び８は、２次元有限イン
パルス応答フィルタ（２−Ｄ ＦＩＲ）２０を使用して
実現される。このフィルタ２０は、タップ間に従来のよ
うなピクセル及びライン遅延素子を有する。入力ビデオ
データは、フィルタ２０内を順次パイプラインのように
運ばれ、出力を発生する。
４，６及び８の１つをもっと詳しく示すものである。デ
コンボルーション手段４，６及び８は、２次元有限イン
パルス応答フィルタ（２−Ｄ ＦＩＲ）２０を使用して
実現される。このフィルタ２０は、タップ間に従来のよ
うなピクセル及びライン遅延素子を有する。入力ビデオ
データは、フィルタ２０内を順次パイプラインのように
運ばれ、出力を発生する。
【００２８】フィルタ２０に適用されるフィルタ係数
は、係数メモリ２４内に記憶される。係数メモリ２４に
は、ビデオデータの撮影時間と、現在フィルタ２０内の
中央位置にあるピクセル値の水平ベクトル成分及び垂直
ベクトル成分の値とが供給される。
は、係数メモリ２４内に記憶される。係数メモリ２４に
は、ビデオデータの撮影時間と、現在フィルタ２０内の
中央位置にあるピクセル値の水平ベクトル成分及び垂直
ベクトル成分の値とが供給される。
【００２９】係数メモリ２４は、水平ベクトル成分、垂
直ベクトル成分及び撮影時間に応じてｎ水平係数値及び
ｍ垂直係数値をフィルタ２０に出力する。係数の値は、
はじめに言及した数学的扱い方に従って、ベクトル成分
値及び撮影時間の個々の組合せに対して、予め決めてお
く。
直ベクトル成分及び撮影時間に応じてｎ水平係数値及び
ｍ垂直係数値をフィルタ２０に出力する。係数の値は、
はじめに言及した数学的扱い方に従って、ベクトル成分
値及び撮影時間の個々の組合せに対して、予め決めてお
く。
【００３０】ぼやけ伝達関数は、次式によって表され
る。
る。
【数１】 ただし、ｕ＝水平空間周波数、 ｖ＝垂直空間周波数、 Ｔ＝撮影時間、 ａ＝（水平動きベクトル）* Ｔ、 ｂ＝（垂直動きベクトル）* Ｔ。 したがって、ぼやけを減じる伝達関数は、次のように表
せる。
せる。
【数２】
【００３１】この式に、異なる水平ピクセル間隔及び垂
直方向ライン間隔に対応する空間周波数を入れると、撮
影時間Ｔ及び動きベクトルを表す値に対する一連のフィ
ルタ係数値が導出される。あいにくＨD （ｕ，ｖ）の値
は、ＨB （ｕ，ｖ）内で発生するゼロ交差点で無限大と
なる。第１のゼロ交差は、｜ｕａ＋ｖｂ｜＝１において
発生する。
直方向ライン間隔に対応する空間周波数を入れると、撮
影時間Ｔ及び動きベクトルを表す値に対する一連のフィ
ルタ係数値が導出される。あいにくＨD （ｕ，ｖ）の値
は、ＨB （ｕ，ｖ）内で発生するゼロ交差点で無限大と
なる。第１のゼロ交差は、｜ｕａ＋ｖｂ｜＝１において
発生する。
【００３２】これを処理するためにゼロ交差問題のない
フィルタ係数のための近似解を与える１つの方法は、Ｈ
B （ｕ，ｖ）の第１ゼロ交差点までだけを考え、ウィン
ドウ関数を適用することである。使用できると考えられ
るウィンドウ関数Ｗ（ｕ，ｖ）の一例は、持ち上げた
（ｒａｉｓｅｄ）コサインである。 Ｗ（ｕ，ｖ）＝１／２〔１＋ｃｏｓ｛π（ｕａ＋ｖ
ｂ）｝〕‥‥｜ｕａ＋ｖｂ｜＜１の場合、 Ｗ（ｕ，ｖ）＝０ ‥‥その他の場合。
フィルタ係数のための近似解を与える１つの方法は、Ｈ
B （ｕ，ｖ）の第１ゼロ交差点までだけを考え、ウィン
ドウ関数を適用することである。使用できると考えられ
るウィンドウ関数Ｗ（ｕ，ｖ）の一例は、持ち上げた
（ｒａｉｓｅｄ）コサインである。 Ｗ（ｕ，ｖ）＝１／２〔１＋ｃｏｓ｛π（ｕａ＋ｖ
ｂ）｝〕‥‥｜ｕａ＋ｖｂ｜＜１の場合、 Ｗ（ｕ，ｖ）＝０ ‥‥その他の場合。
【００３３】したがって、適用される非分離ぼやけ減少
関数は、次のようになる。
関数は、次のようになる。
【数３】
【００３４】代わりの方法は、はじめに参照した数学的
扱い方に記載されているような最小自乗平均（Wiener）
フィルタを用いることである。この文献内の式５．５−
１０によって与えられるWienerフィルタ（Ｋが定数の場
合）は、次のようになる。
扱い方に記載されているような最小自乗平均（Wiener）
フィルタを用いることである。この文献内の式５．５−
１０によって与えられるWienerフィルタ（Ｋが定数の場
合）は、次のようになる。
【数４】
【００３５】
【発明の効果】以上説明したとおり、本発明によれば、
従来の映像データ動き補正補間システムを動きベクトル
の検出に利用でき、広く適用可能な映像データぼやけ減
少方式を得ることができる。
従来の映像データ動き補正補間システムを動きベクトル
の検出に利用でき、広く適用可能な映像データぼやけ減
少方式を得ることができる。
【図１】本発明の実施例を示すブロック図である。
【図２】図１のデコンボルーション手段の構成を示すブ
ロック図である。
ロック図である。
【符号の説明】 ２ ベクトル選択器（選択手段） ４，６，８ デコンボルーション（デコンボルブする）
手段 Ｖ１，Ｖ２，Ｖ３ 候補動きベクトル １０ 境域プロセッサ（境界を検出する手段） １４ マルチプレクサ １６ ミキサ ２０ ２次元有限インパルス応答フィルタ ２４ フィルタ係数メモリ
手段 Ｖ１，Ｖ２，Ｖ３ 候補動きベクトル １０ 境域プロセッサ（境界を検出する手段） １４ マルチプレクサ １６ ミキサ ２０ ２次元有限インパルス応答フィルタ ２４ フィルタ係数メモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 モーガン ウィリアム エイモス デビ ッド イギリス国 サリー，ファーナム，ブル ームリーフロード 18 (56)参考文献 特開 平４−205572（ＪＰ，Ａ) 特開 平４−188283（ＪＰ，Ａ) 特開 平２−202287（ＪＰ，Ａ) 特開 昭63−213086（ＪＰ，Ａ) 特開 昭62−185466（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) G06T 5/20 G06T 1/40 H04N 5/21
Claims (10)
- 【請求項１】 動く映像がぼやけるような撮影時間で撮
像された映像データのアレイを処理する装置であって、 映像データのアレイの対応する部分に関連する動きベク
トルのアレイを検出する手段（該動きベクトルの各々
は、時間的に間隔をおいた映像データアレイ間の上記部
分の中の対応するものの映像の動きを表す。）と、 ぼやけが減少した映像データのアレイを生じるために、
上記撮影時間と、上記検出手段によって検出された当該
部分に対応する動きベクトルとに応じて、上記部分の各
々からぼやけ関数をデコンボルブする手段とを具えた映
像データ処理装置。 - 【請求項２】 上記部分がピクセル値のアレイより成る
請求項１の装置。 - 【請求項３】 上記の動きベクトルのアレイを検出する
手段は、上記ピクセル値のアレイの各々に対する複数の
候補動きベクトルを検出し、選択手段が、上記候補動き
ベクトルの中から各ピクセル値に対応すべき動きベクト
ルを選択する請求項２の装置。 - 【請求項４】 上記のデコンボルブする手段は、複数の
ぼやけが減少したピクセル値を生じるために、上記候補
動きベクトルの各々に対するピクセル値につきデコンボ
ルーションを行い、上記選択手段によって制御されるマ
ルチプレクサが、上記選択された動きベクトルに対応す
る上記候補のぼやけが減少した映像ピクセル値の１つに
切替えて、上記のぼやけが減少した映像データのアレイ
の一部とする請求項３の装置。 - 【請求項５】 上記映像データのアレイ内の、ほぼ共通
の動きベクトルを共有する領域間の境界を検出する手段
を有し、かような領域内でほぼ共通の動きベクトルを共
有することが、上記領域の単一物体を表すことを示す請
求項２，３及び４のいずれか１項の装置。 - 【請求項６】 上記の境界を検出する手段に応答して、
上記デコンボルブする手段からのぼやけが減少した映像
データと未処理映像データとを一緒に混合するミキサを
設け、検出された領域間の境界では、ほぼ全く処理され
ない映像データを上記ミキサから出力し、上記境界から
離れるに従ってぼやけを減じた映像データの割合を増し
て上記ミキサから出力するようにした請求項５の装置。 - 【請求項７】 上記デコンボルブする手段は、処理され
る映像データの当該部分に対する動きベクトルの直交方
向成分に応じて選択される一連のフィルタ係数をもつ２
次元有限インパルス応答フィルタを含む請求項１〜６の
いずれか１項の装置。 - 【請求項８】 一連の考えられる動きベクトル成分に対
する一連のフィルタ係数を記憶する、上記有限インパル
ス応答フィルタ用のフィルタ係数メモリを設け、検出さ
れた動きベクトル成分が、フィルタ係数の対応する１組
の選択をトリガするようにした請求項７の装置。 - 【請求項９】 上記フィルタ係数メモリは、考えられる
動きベクトルの各々に対する複数組のフィルタ係数を記
憶し、これら複数組の各々は種々異なる撮影時間と対応
している請求項８の装置。 - 【請求項１０】 動く映像がぼやけるような撮影時間で
撮像した映像データのアレイを処理する方法であって、 映像データのアレイの対応する部分に関連する動きベク
トルのアレイを検出するステップ（該動きベクトルの各
々は、時間的に間隔をおいた映像データアレイ間の上記
部分の中の対応するものの映像の動きを表す。）と、 上記撮影時間と、当該部分に対応する検出された動きベ
クトルとに応じて、上記部分の各々からぼやけ関数をデ
コンボルブしてぼやけが減少した映像データのアレイを
生じるステップとを含む映像データ処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GB9316307:9 | 1993-08-05 | ||
| GB9316307A GB2280812B (en) | 1993-08-05 | 1993-08-05 | Image enhancement |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0765163A JPH0765163A (ja) | 1995-03-10 |
| JP3251127B2 true JP3251127B2 (ja) | 2002-01-28 |
Family
ID=10740058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16199694A Expired - Fee Related JP3251127B2 (ja) | 1993-08-05 | 1994-07-14 | 映像データ処理方式 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3251127B2 (ja) |
| GB (1) | GB2280812B (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102073993A (zh) * | 2010-12-29 | 2011-05-25 | 清华大学 | 一种基于摄像机自标定的抖动视频去模糊方法和装置 |
| US8218888B2 (en) | 2008-02-25 | 2012-07-10 | Mitsubishi Electric Corporation | Motion blur detecting apparatus and method, image processing apparatus, and image display apparatus |
| US8345163B2 (en) | 2010-08-03 | 2013-01-01 | Mitsubishi Electric Corporation | Image processing device and method and image display device |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1048170A1 (en) * | 1998-08-21 | 2000-11-02 | Koninklijke Philips Electronics N.V. | Problem area location in an image signal |
| US6621936B1 (en) | 1999-02-12 | 2003-09-16 | Sony Corporation | Method and apparatus for spatial class reduction |
| US6519369B1 (en) | 1999-02-12 | 2003-02-11 | Sony Corporation | Method and apparatus for filter tap expansion |
| US6591398B1 (en) | 1999-02-12 | 2003-07-08 | Sony Corporation | Multiple processing system |
| US6351494B1 (en) * | 1999-09-24 | 2002-02-26 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US6522785B1 (en) | 1999-09-24 | 2003-02-18 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US6754371B1 (en) | 1999-12-07 | 2004-06-22 | Sony Corporation | Method and apparatus for past and future motion classification |
| AU767162B2 (en) * | 1999-12-14 | 2003-10-30 | Canon Kabushiki Kaisha | Method and apparatus for uniform lineal motion blur estimation using multiple exposures |
| AU2003244630B2 (en) * | 1999-12-14 | 2005-05-26 | Canon Kabushiki Kaisha | Method and Apparatus for Uniform Lineal Motion Blur Estimation Using Multiple Exposures |
| TW548993B (en) | 2000-12-19 | 2003-08-21 | Pulsent Corp | Method and apparatus for deblurring and re-blurring image segments |
| US8134613B2 (en) | 2001-04-10 | 2012-03-13 | Sony Corporation | Image processing apparatus and method, and image pickup apparatus |
| JP4674408B2 (ja) * | 2001-04-10 | 2011-04-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4596205B2 (ja) * | 2001-04-10 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| DE60315024T2 (de) * | 2002-05-23 | 2008-03-20 | Koninklijke Philips Electronics N.V. | Kantenabhängige reduktion der bewegungsunschärfe |
| EP1702457B1 (en) * | 2003-12-01 | 2009-08-26 | Koninklijke Philips Electronics N.V. | Motion-compensated inverse filtering with band-pass-filters for motion blur reduction |
| US20080025628A1 (en) * | 2004-10-26 | 2008-01-31 | Koninklijke Philips Electronics, N.V. | Enhancement of Blurred Image Portions |
| WO2006054201A1 (en) * | 2004-11-16 | 2006-05-26 | Koninklijke Philips Electronics N.V. | Video data enhancement |
| US7622715B2 (en) * | 2005-04-11 | 2009-11-24 | Fluke Corporation | Method and apparatus for capturing and analyzing thermo-graphic images of a moving object |
| EP1876564B1 (en) * | 2005-04-27 | 2013-10-23 | Mitsubishi Electric Corporation | Image processing device, image processing method, and information terminal |
| JP4910839B2 (ja) * | 2007-03-30 | 2012-04-04 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4612575A (en) * | 1984-07-24 | 1986-09-16 | E-Systems, Inc. | T.V. video image correction |
| JPS62185466A (ja) * | 1986-02-10 | 1987-08-13 | Canon Inc | 画像処理装置 |
| JP2611211B2 (ja) * | 1987-02-28 | 1997-05-21 | ソニー株式会社 | 二次元フイルタ装置 |
| JPH02202287A (ja) * | 1989-01-31 | 1990-08-10 | Victor Co Of Japan Ltd | 動き適応フィルタ |
| JPH04188283A (ja) * | 1990-11-22 | 1992-07-06 | Canon Inc | 画像処理方法および装置 |
| JP3179475B2 (ja) * | 1990-11-30 | 2001-06-25 | ソニー株式会社 | 信号処理装置及び信号処理方法 |
| GB2264414B (en) * | 1992-02-12 | 1995-07-12 | Sony Broadcast & Communication | Video signal processing |
-
1993
- 1993-08-05 GB GB9316307A patent/GB2280812B/en not_active Expired - Fee Related
-
1994
- 1994-07-14 JP JP16199694A patent/JP3251127B2/ja not_active Expired - Fee Related
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8218888B2 (en) | 2008-02-25 | 2012-07-10 | Mitsubishi Electric Corporation | Motion blur detecting apparatus and method, image processing apparatus, and image display apparatus |
| US8345163B2 (en) | 2010-08-03 | 2013-01-01 | Mitsubishi Electric Corporation | Image processing device and method and image display device |
| CN102073993A (zh) * | 2010-12-29 | 2011-05-25 | 清华大学 | 一种基于摄像机自标定的抖动视频去模糊方法和装置 |
| CN102073993B (zh) * | 2010-12-29 | 2012-08-22 | 清华大学 | 一种基于摄像机自标定的抖动视频去模糊方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| GB2280812B (en) | 1997-07-30 |
| GB9316307D0 (en) | 1993-09-22 |
| GB2280812A (en) | 1995-02-08 |
| JPH0765163A (ja) | 1995-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3251127B2 (ja) | 映像データ処理方式 | |
| US7471320B2 (en) | Electronic pan tilt zoom video camera with adaptive edge sharpening filter | |
| Farsiu et al. | Video-to-video dynamic super-resolution for grayscale and color sequences | |
| US5535291A (en) | Superresolution image enhancement for a SIMD array processor | |
| Kim et al. | Spatio-temporal adaptive 3-D Kalman filter for video | |
| EP0476959B1 (en) | System and method for fusing video imagery from multiple sources in real time | |
| US8422827B2 (en) | Image correction apparatus and image correction method | |
| US7092016B2 (en) | Method and system for motion image digital processing | |
| EP2164040B1 (en) | System and method for high quality image and video upscaling | |
| US20120195520A1 (en) | Image restoration apparatus and image restoration method | |
| WO2012018282A1 (ru) | Способ суперразрешения изображений и нелинейный цифровой фильтр для его осуществления | |
| US20080025628A1 (en) | Enhancement of Blurred Image Portions | |
| EP0134244B1 (en) | Resolution enhancement and zoom by degradation estimates | |
| KR100311482B1 (ko) | 보간 영상의 화질 개선을 위한 필터링 제어방법 | |
| EP2175416A1 (en) | Method and system for image deblurring | |
| JP2006238032A (ja) | 画像復元方法およびその装置 | |
| WO1993019430A1 (en) | A machine method for compensating for non-linear picture transformations, e.g. zoom and pan, in a video image motion compensation system | |
| Zhang et al. | Video superresolution reconstruction using iterative back projection with critical-point filters based image matching | |
| JP2007072558A (ja) | 画像処理装置および画像処理方法 | |
| CN115631171A (zh) | 一种图片清晰度评价方法、系统及存储介质 | |
| JP2782766B2 (ja) | 動画静止画変換方法 | |
| KR100717031B1 (ko) | 슬라이딩 윈도우 방법을 이용하는 1차원 이미지 복원 방법및 시스템 | |
| JP3106831B2 (ja) | 映像信号処理装置 | |
| JP2004102904A (ja) | フィルタ処理装置およびフィルタ処理方法 | |
| Güngör et al. | A transform learning based deconvolution technique with super-resolution and microscanning applications |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071116 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081116 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091116 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091116 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111116 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |