JPH07284016A - ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置 - Google Patents
ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置Info
- Publication number
- JPH07284016A JPH07284016A JP28049993A JP28049993A JPH07284016A JP H07284016 A JPH07284016 A JP H07284016A JP 28049993 A JP28049993 A JP 28049993A JP 28049993 A JP28049993 A JP 28049993A JP H07284016 A JPH07284016 A JP H07284016A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- value
- field
- data
- cumulative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Color Television Systems (AREA)
Abstract
(57)【要約】 (修正有)
【目的】映像の環境及び被写体の形態を判断して適応的
に動きベクトル決定できる映像安定化システムを提供す
る。 【構成】映像データを受信し、局部動き検出領域の単位
で以前フィールドと現在のフィールドの比較して相関度
データを順次に発生分析して局部動きベクトル及び統計
的変数を順次に発生する手段11と、統計的変数を分析
して信頼性を判断した後に、局部動きベクトルを分析し
予め設定した割合に対応する加重値を対応する局部動き
ベクトルに与え、加重値が与えられた局部動きベクトル
を平均化してフィールド動きベクトルを発生する手段1
2と、減衰手段から出力される減衰した累積動きベクト
ルにフィールド動きベクトルを累積して累積動きベクト
ルを発生する手段13と、累積動きベクトルの大きさに
より発生される予め設定された割合に対応する誤り動き
補償値だけ累積動きベクトルを減少させる補償累積動き
ベクトル発生手段16とを備える。
に動きベクトル決定できる映像安定化システムを提供す
る。 【構成】映像データを受信し、局部動き検出領域の単位
で以前フィールドと現在のフィールドの比較して相関度
データを順次に発生分析して局部動きベクトル及び統計
的変数を順次に発生する手段11と、統計的変数を分析
して信頼性を判断した後に、局部動きベクトルを分析し
予め設定した割合に対応する加重値を対応する局部動き
ベクトルに与え、加重値が与えられた局部動きベクトル
を平均化してフィールド動きベクトルを発生する手段1
2と、減衰手段から出力される減衰した累積動きベクト
ルにフィールド動きベクトルを累積して累積動きベクト
ルを発生する手段13と、累積動きベクトルの大きさに
より発生される予め設定された割合に対応する誤り動き
補償値だけ累積動きベクトルを減少させる補償累積動き
ベクトル発生手段16とを備える。
Description
【0001】
【産業上の利用分野】本発明は映像安定化装置及び方法
に関するもので、特に、映像安定化システムにおいて映
像安定化のための動きベクトルを適応的に決定できる装
置及び方法に関するものである。
に関するもので、特に、映像安定化システムにおいて映
像安定化のための動きベクトルを適応的に決定できる装
置及び方法に関するものである。
【0002】
【従来の技術】一般に最近のビデオカメラは、小型化、
軽量化、高倍率のディジタルズーム及び特殊効果などが
搭載された多機能を選好する傾向になってきている。そ
のため、撮影時に、このような小型化や軽量化により、
あるいは付属機能の操作により、手振れによる映像の振
れを伴うことが多くなる。この振れは、光学あるいは電
子的ズーム(Zoom)による遠距離の被写体を拡大撮影す
る場合に一層増幅される。したがって、車両内のような
不安定な環境でも安定した映像を提供するために、映像
安定化システム(Image Stabilization System)による
補正機能が必須的な要素となっている。
軽量化、高倍率のディジタルズーム及び特殊効果などが
搭載された多機能を選好する傾向になってきている。そ
のため、撮影時に、このような小型化や軽量化により、
あるいは付属機能の操作により、手振れによる映像の振
れを伴うことが多くなる。この振れは、光学あるいは電
子的ズーム(Zoom)による遠距離の被写体を拡大撮影す
る場合に一層増幅される。したがって、車両内のような
不安定な環境でも安定した映像を提供するために、映像
安定化システム(Image Stabilization System)による
補正機能が必須的な要素となっている。
【0003】このような映像安定化システムの概念は、
時間的に連続した二つの映像フレーム間の動きベクトル
を決定した後、次の映像フレームの位置を以前に検出し
た動きベクトル群の外押的予想ベクトルの逆の方向に移
動させることによって、振れる映像を安定化させるもの
であり、もっとも簡単な場合には前回フレームの動きベ
クトルに対する逆移動である。
時間的に連続した二つの映像フレーム間の動きベクトル
を決定した後、次の映像フレームの位置を以前に検出し
た動きベクトル群の外押的予想ベクトルの逆の方向に移
動させることによって、振れる映像を安定化させるもの
であり、もっとも簡単な場合には前回フレームの動きベ
クトルに対する逆移動である。
【0004】このような機能のための従来の映像安定化
方法については、角速度センサによる手振れ検出を機械
的な撮像光学系の制御によって実現する技術が、Oshima
等により研究されている(M.Oshima, et. al.,“VHS Ca
mcorder with Electronic Image Stabilizer," IEEE Tr
ans. Consumer Elec., Vol.35, no.4, pp.749-758, Nov
ember 1989)。このOshima等の映像安定化方法は、カメ
ラの望ましくない角速度を感知するためにジャイロセン
サを使用し、レンズユニットの回転によって発生する映
像の変動を補償するものである。しかし、このような映
像安定化方法は、補正メカニズムの増加を伴うため、小
型化、軽量化の要求を満足し難いという弱点を有してい
る。
方法については、角速度センサによる手振れ検出を機械
的な撮像光学系の制御によって実現する技術が、Oshima
等により研究されている(M.Oshima, et. al.,“VHS Ca
mcorder with Electronic Image Stabilizer," IEEE Tr
ans. Consumer Elec., Vol.35, no.4, pp.749-758, Nov
ember 1989)。このOshima等の映像安定化方法は、カメ
ラの望ましくない角速度を感知するためにジャイロセン
サを使用し、レンズユニットの回転によって発生する映
像の変動を補償するものである。しかし、このような映
像安定化方法は、補正メカニズムの増加を伴うため、小
型化、軽量化の要求を満足し難いという弱点を有してい
る。
【0005】一方、映像安定化システムは、映像の電子
的信号処理のみにより手振れ量を検出し、映像特性を識
別して適応的にシステムを制御する電子回路技術によっ
て、手振れ補正を行うようにすることも可能である。こ
のような映像安定化システムを具現する際には、最小の
ハードウェアにより映像の動きを判断する構成、つまり
動き判断機能と、変化の多い条件でも適応的に動きベク
トルを決定できるアルゴリズムを有するということが重
要な要素となる。
的信号処理のみにより手振れ量を検出し、映像特性を識
別して適応的にシステムを制御する電子回路技術によっ
て、手振れ補正を行うようにすることも可能である。こ
のような映像安定化システムを具現する際には、最小の
ハードウェアにより映像の動きを判断する構成、つまり
動き判断機能と、変化の多い条件でも適応的に動きベク
トルを決定できるアルゴリズムを有するということが重
要な要素となる。
【0006】動き判断ユニットは、一般的に、白俊基
(Paik)等によって提案された、ブロック整合のアルゴ
リズム(Block Matching Algorithm: BMA)を前提と
して、3重状態適応形線形ニューロン(Tri-State Adap
tive Linear Neurons:ADALINES)を用いるエッ
ジ整合技術(J.K. Paik, Y.C. Park, S.W. Park,“An E
dge Detection Approach to Digital Image Stabilizat
ion Based on Tri-StateLinear Neurons" IEEE Trans.
Consumer Elec., Vol.37. no.3 pp.521-530, August 19
91.)、Uomori等によって提案された、BERP(Band Extr
act representative Point )整合技術(K.Uomori, et.
al., "Automatic Image Stabilizing System by Full-D
igital Signal Processing," IEEE Trans, Consumer El
ectronics, Vol.36, no.3, pp.510-519, August 199
0.)、Komarek 等によって提案された、3段階の探索
(Three Step Search )方法(T.Komarek, et. al., "V
LSI Architecture for Hierarchical Block Matching A
lgorithms," IEEE Trans. consumer Elec., pp.45-48,
August 1990.)などがある。
(Paik)等によって提案された、ブロック整合のアルゴ
リズム(Block Matching Algorithm: BMA)を前提と
して、3重状態適応形線形ニューロン(Tri-State Adap
tive Linear Neurons:ADALINES)を用いるエッ
ジ整合技術(J.K. Paik, Y.C. Park, S.W. Park,“An E
dge Detection Approach to Digital Image Stabilizat
ion Based on Tri-StateLinear Neurons" IEEE Trans.
Consumer Elec., Vol.37. no.3 pp.521-530, August 19
91.)、Uomori等によって提案された、BERP(Band Extr
act representative Point )整合技術(K.Uomori, et.
al., "Automatic Image Stabilizing System by Full-D
igital Signal Processing," IEEE Trans, Consumer El
ectronics, Vol.36, no.3, pp.510-519, August 199
0.)、Komarek 等によって提案された、3段階の探索
(Three Step Search )方法(T.Komarek, et. al., "V
LSI Architecture for Hierarchical Block Matching A
lgorithms," IEEE Trans. consumer Elec., pp.45-48,
August 1990.)などがある。
【0007】一般に、映像安定化システムは、フレーム
を時間的に2分割した毎フィールドから検出される動き
ベクトルで画面全体の動きを補正するようになるが、実
際の映像特性において中心領域には主要被写体による動
きが存在することを予想して、全体の画面の中にM個の
局部動きベクトル検出領域を有する。こうしたM個の局
部動き検出領域に対応する各動きベクトル判断ユニット
により、それぞれの局部動きベクトル(Local Motion V
ector )が得られ、それらの多様な形態の相関度データ
(correlation data)が動き決定ユニットの入力とな
る。このように決定される局部動きベクトルは、被写体
の状態に従ってそれぞれ異なる値をもつことが予想され
るので、動き決定ユニットにより、映像状態に適応して
ビデオカメラの動きを表す最適のフィールド動きベクト
ルを決める。
を時間的に2分割した毎フィールドから検出される動き
ベクトルで画面全体の動きを補正するようになるが、実
際の映像特性において中心領域には主要被写体による動
きが存在することを予想して、全体の画面の中にM個の
局部動きベクトル検出領域を有する。こうしたM個の局
部動き検出領域に対応する各動きベクトル判断ユニット
により、それぞれの局部動きベクトル(Local Motion V
ector )が得られ、それらの多様な形態の相関度データ
(correlation data)が動き決定ユニットの入力とな
る。このように決定される局部動きベクトルは、被写体
の状態に従ってそれぞれ異なる値をもつことが予想され
るので、動き決定ユニットにより、映像状態に適応して
ビデオカメラの動きを表す最適のフィールド動きベクト
ルを決める。
【0008】このような動き決定ユニットの実現のため
に、Uomori氏は、相関度と局部動きベクトルを用いて、
マイクロコンピュータによって処理する方法を提案して
いる。しかし、Uomori氏によって提案された方法は、マ
イクロコンピュータを使用するため、純粋なハードウェ
アによる実施という点で問題がある。そこで、動き判断
時にエッジ整合の技術を用いると、上記のような動き決
定を純粋なハードウェアで具現でき、これによって処理
速度も非常に速くすることができる。
に、Uomori氏は、相関度と局部動きベクトルを用いて、
マイクロコンピュータによって処理する方法を提案して
いる。しかし、Uomori氏によって提案された方法は、マ
イクロコンピュータを使用するため、純粋なハードウェ
アによる実施という点で問題がある。そこで、動き判断
時にエッジ整合の技術を用いると、上記のような動き決
定を純粋なハードウェアで具現でき、これによって処理
速度も非常に速くすることができる。
【0009】さらに、従来の映像安定化システムでは、
映像を安定化させるため画面全体を多数の小画面に分割
し、そこでそれぞれ得られる該当局部動きベクトルを、
適当な方法で組合わせて全体の動きベクトルを決定し
た。しかし、このような方法は、映像の不規則な環境と
雑音などの影響によって動きベクトルが誤検出され、全
体的なシステムが不安定になるという映像安定化とは逆
機能を招いてしまう可能性がある。このような望ましく
ない映像条件は、カメラの意図的な視野移動、つまりパ
ン(panning )が行われる場合、低いコントラストをも
つ映像、反復的な形態がある映像、動く物体がある映
像、2個以上の局部動きベクトルが発散している映像、
そして雑音によって動きベクトルが時間的に微細に変化
する映像などがある。したがって、今後の映像安定化シ
ステムに要求されるのは、望ましくない映像が発生して
も、それに適応させて動きベクトルを決定し、映像を安
定化するという技術である。
映像を安定化させるため画面全体を多数の小画面に分割
し、そこでそれぞれ得られる該当局部動きベクトルを、
適当な方法で組合わせて全体の動きベクトルを決定し
た。しかし、このような方法は、映像の不規則な環境と
雑音などの影響によって動きベクトルが誤検出され、全
体的なシステムが不安定になるという映像安定化とは逆
機能を招いてしまう可能性がある。このような望ましく
ない映像条件は、カメラの意図的な視野移動、つまりパ
ン(panning )が行われる場合、低いコントラストをも
つ映像、反復的な形態がある映像、動く物体がある映
像、2個以上の局部動きベクトルが発散している映像、
そして雑音によって動きベクトルが時間的に微細に変化
する映像などがある。したがって、今後の映像安定化シ
ステムに要求されるのは、望ましくない映像が発生して
も、それに適応させて動きベクトルを決定し、映像を安
定化するという技術である。
【0010】
【発明が解決しようとする課題】したがって本発明の目
的は、第一に、映像の環境及び被写体の形態を判断し
て、適応的に動きベクトルを決定できるような映像安定
化システムを提供することにある。
的は、第一に、映像の環境及び被写体の形態を判断し
て、適応的に動きベクトルを決定できるような映像安定
化システムを提供することにある。
【0011】第二に、受信される映像データの2進エッ
ジデータを検出し、この2進エッジデータを利用してブ
ロック整合による相関度を計算し、ハードウェアを大幅
に減縮できるような適応形動きベクトルを決定する映像
安定化システムを提供することにある。
ジデータを検出し、この2進エッジデータを利用してブ
ロック整合による相関度を計算し、ハードウェアを大幅
に減縮できるような適応形動きベクトルを決定する映像
安定化システムを提供することにある。
【0012】第三に、動きが前もって設定された範囲を
超過しない範囲内で、動き周波数に関係なく連続的に均
一に映像を安定化させることができる映像安定化システ
ムを提供することにある。
超過しない範囲内で、動き周波数に関係なく連続的に均
一に映像を安定化させることができる映像安定化システ
ムを提供することにある。
【0013】第四に、カメラの意図的なパンが行われる
場合に対応して映像を安定化させることができる映像安
定化システムを提供することにある。
場合に対応して映像を安定化させることができる映像安
定化システムを提供することにある。
【0014】第五に、低いコントラストを有する映像で
も安定化させることができる映像安定化システムを提供
することにある。
も安定化させることができる映像安定化システムを提供
することにある。
【0015】第六に、反復的な形態がある映像でも安定
化させることができる映像安定化システムを提供するこ
とにある。
化させることができる映像安定化システムを提供するこ
とにある。
【0016】第七に、動く物体がある映像でも安定化さ
せることができる映像安定化システムを提供することに
ある。
せることができる映像安定化システムを提供することに
ある。
【0017】第八に、雑音によって動きベクトルが時間
的に微細に変化する映像でも安定化させることができる
映像安定化システムを提供することにある。
的に微細に変化する映像でも安定化させることができる
映像安定化システムを提供することにある。
【0018】
【課題を解決するための手段】このような目的を達成す
るために本発明は、フィールド単位で映像データを貯蔵
するメモリと、受信される補償累積動きベクトルにより
前記メモリに貯蔵されている映像データの動きを補正す
る制御部を備える映像安定化装置について、映像データ
を受信し、局部動き検出領域の単位で、以前フィールド
の基準ブロック映像データと現在のフィールドの比較ブ
ロック映像データとをパターン整合して相関度データを
順次に発生し、これら相関度データを分析して、対応す
る局部動き検出領域の局部動きベクトル及び統計的変数
を順次に発生する手段と、前記局部動きベクトル及び統
計的変数を受信し、局部動きベクトルを分析して予め設
定した割合に対応する局部動きベクトルの孤立度及び安
定度の加重値を発生し、統計的変数を分析して信頼性を
判断した後に、対応する局部動きベクトルに加重値を与
え、加重値が与えられた局部動きベクトルを平均化して
フィールド動きベクトルを発生する手段と、減衰手段を
有してなり、前記フィールド動きベクトルを受信し、そ
のフィールド動きベクトルを減衰手段から出力される減
衰した累積動きベクトルに加算して累積動きベクトルを
発生する手段と、前記累積動きベクトルを受信し、受信
された累積動きベクトルの大きさにより予め設定された
割合に対応する誤り動き補償値を適応的に発生し、累積
動きベクトルを誤り動き補償値だけ減少させる補償累積
動きベクトルを発生する補償累積動きベクトル発生手段
と、を備えていることを主な特徴とする。
るために本発明は、フィールド単位で映像データを貯蔵
するメモリと、受信される補償累積動きベクトルにより
前記メモリに貯蔵されている映像データの動きを補正す
る制御部を備える映像安定化装置について、映像データ
を受信し、局部動き検出領域の単位で、以前フィールド
の基準ブロック映像データと現在のフィールドの比較ブ
ロック映像データとをパターン整合して相関度データを
順次に発生し、これら相関度データを分析して、対応す
る局部動き検出領域の局部動きベクトル及び統計的変数
を順次に発生する手段と、前記局部動きベクトル及び統
計的変数を受信し、局部動きベクトルを分析して予め設
定した割合に対応する局部動きベクトルの孤立度及び安
定度の加重値を発生し、統計的変数を分析して信頼性を
判断した後に、対応する局部動きベクトルに加重値を与
え、加重値が与えられた局部動きベクトルを平均化して
フィールド動きベクトルを発生する手段と、減衰手段を
有してなり、前記フィールド動きベクトルを受信し、そ
のフィールド動きベクトルを減衰手段から出力される減
衰した累積動きベクトルに加算して累積動きベクトルを
発生する手段と、前記累積動きベクトルを受信し、受信
された累積動きベクトルの大きさにより予め設定された
割合に対応する誤り動き補償値を適応的に発生し、累積
動きベクトルを誤り動き補償値だけ減少させる補償累積
動きベクトルを発生する補償累積動きベクトル発生手段
と、を備えていることを主な特徴とする。
【0019】
【実施例】以下、本発明の好適な実施例を添付の図面を
参照して詳細に説明する。尚、同じ構成要素には同じ符
号を付し、重複する説明は省略する。また、以下の説明
で、特定の数値データを例にあげて説明してある内容
は、本発明の全般的な理解のために提供するものであ
る。
参照して詳細に説明する。尚、同じ構成要素には同じ符
号を付し、重複する説明は省略する。また、以下の説明
で、特定の数値データを例にあげて説明してある内容
は、本発明の全般的な理解のために提供するものであ
る。
【0020】本発明による映像安定化システムについ
て、1フィールドの領域を4個の局部動き検出領域に分
割して処理する過程を仮定して説明するが、このような
データを変形しても本発明を実施できるということは、
当該技術分野で通常の知識を有する者なら理解できるで
あろう。
て、1フィールドの領域を4個の局部動き検出領域に分
割して処理する過程を仮定して説明するが、このような
データを変形しても本発明を実施できるということは、
当該技術分野で通常の知識を有する者なら理解できるで
あろう。
【0021】第1実施例 図1は、本発明による映像安定化システムの構成例を示
すブロック図である。カメラから発生されるディジタル
の映像データは、局部動きベクトル発生部11及びフィ
ールドメモリ15に印加される。
すブロック図である。カメラから発生されるディジタル
の映像データは、局部動きベクトル発生部11及びフィ
ールドメモリ15に印加される。
【0022】局部動きベクトル発生部11は、映像デー
タを受信して、その受信された映像データから2進エッ
ジデータを検出し、該2進エッジデータについて、前回
フィールドの2進エッジデータと局部動き検出領域単位
でパターンを整合させ、連続的な二つのフィールド間の
比較による相関度データを計算し、この相関度データを
利用して、該当する局部動き検出領域での局部動きベク
トルLMV及び統計的変数を発生する。
タを受信して、その受信された映像データから2進エッ
ジデータを検出し、該2進エッジデータについて、前回
フィールドの2進エッジデータと局部動き検出領域単位
でパターンを整合させ、連続的な二つのフィールド間の
比較による相関度データを計算し、この相関度データを
利用して、該当する局部動き検出領域での局部動きベク
トルLMV及び統計的変数を発生する。
【0023】フィールド動きベクトル発生部12は、局
部動きベクトル発生部11から局部動きベクトルLMV
及び統計的変数を受信する。このフィールド動きベクト
ル発生部12は、受信された局部動きベクトルLMV及
び統計的変数から、1フィールドの全体的動きを示すフ
ィールド動きベクトルFMVを発生する。
部動きベクトル発生部11から局部動きベクトルLMV
及び統計的変数を受信する。このフィールド動きベクト
ル発生部12は、受信された局部動きベクトルLMV及
び統計的変数から、1フィールドの全体的動きを示すフ
ィールド動きベクトルFMVを発生する。
【0024】累積動きベクトル発生部13は、フィール
ド動きベクトル発生部12から受信されたフィールド動
きベクトルFMVを、前回までの累積値に加算して連続
的なフィールド間の振れを安定させるための累積動きベ
クトルAMVを発生する。
ド動きベクトル発生部12から受信されたフィールド動
きベクトルFMVを、前回までの累積値に加算して連続
的なフィールド間の振れを安定させるための累積動きベ
クトルAMVを発生する。
【0025】補償累積動きベクトル発生部16は、累積
動きベクトル発生部13から受信された累積動きベクト
ルAMVに含まれる誤検出動きを検出して、微細な雑音
による映像の不安定を抑制するために用いる補償累積動
きベクトル(Compensating AMV)CAMVを発生する。
動きベクトル発生部13から受信された累積動きベクト
ルAMVに含まれる誤検出動きを検出して、微細な雑音
による映像の不安定を抑制するために用いる補償累積動
きベクトル(Compensating AMV)CAMVを発生する。
【0026】フィールドメモリ15は、映像データを、
受信されるアドレスに従って該当する領域に貯蔵し、そ
して読出して出力する。
受信されるアドレスに従って該当する領域に貯蔵し、そ
して読出して出力する。
【0027】アドレス制御及びズーム処理部14は、補
償累積動きベクトル発生部16から受信された補償累積
動きベクトルCAMVに応じて調整された読出アドレス
を発生し、フィールドメモリ15に印加すると共に、フ
ィールドメモリ15から読出された映像データを受信し
て、動き補償(motion compensation )を行う。すなわ
ち、アドレス制御及びズーム処理部14は、読出アドレ
スによってフィールドメモリ15から受信される映像デ
ータを、上記の過程を通した動き補償によって、ディジ
タルズーム過程では映像データを補間(interpolation
)して映像の一定の部分を拡大し、最終的に安定化し
た映像信号を出力する。
償累積動きベクトル発生部16から受信された補償累積
動きベクトルCAMVに応じて調整された読出アドレス
を発生し、フィールドメモリ15に印加すると共に、フ
ィールドメモリ15から読出された映像データを受信し
て、動き補償(motion compensation )を行う。すなわ
ち、アドレス制御及びズーム処理部14は、読出アドレ
スによってフィールドメモリ15から受信される映像デ
ータを、上記の過程を通した動き補償によって、ディジ
タルズーム過程では映像データを補間(interpolation
)して映像の一定の部分を拡大し、最終的に安定化し
た映像信号を出力する。
【0028】図1に示すような映像安定化システムで
は、基準映像及び比較映像になる連続する二つの映像間
の動きベクトルを判断するために、局部動きベクトル発
生部11が、先に受信された映像データの適当な位置を
局部動き検出領域に設定する。その後、局部動きベクト
ル発生部11は、先行フィールドの基準映像が存在する
局部動き検出領域の映像データと、後続フィールドの比
較映像が存在する該当局部動き検出領域の映像データと
を比較する。このとき、該局部動き検出領域の各比較映
像は、該当局部動きベクトル候補によってシフトされ
る。このベクトル候補は複数用意され、後述のように、
その中の1個が出力となる。
は、基準映像及び比較映像になる連続する二つの映像間
の動きベクトルを判断するために、局部動きベクトル発
生部11が、先に受信された映像データの適当な位置を
局部動き検出領域に設定する。その後、局部動きベクト
ル発生部11は、先行フィールドの基準映像が存在する
局部動き検出領域の映像データと、後続フィールドの比
較映像が存在する該当局部動き検出領域の映像データと
を比較する。このとき、該局部動き検出領域の各比較映
像は、該当局部動きベクトル候補によってシフトされ
る。このベクトル候補は複数用意され、後述のように、
その中の1個が出力となる。
【0029】この基準局部動き検出領域の基準ブロック
データと比較ブロックデータとを比較するとき、相関度
値(correlation value )は、該当する動きベクトル候
補によって値が変化する。多数の動きベクトル候補のう
ち、最大相関度を有する動きベクトル候補を選択して、
対応する局部動き検出領域の局部動きベクトルLMVと
して出力する。
データと比較ブロックデータとを比較するとき、相関度
値(correlation value )は、該当する動きベクトル候
補によって値が変化する。多数の動きベクトル候補のう
ち、最大相関度を有する動きベクトル候補を選択して、
対応する局部動き検出領域の局部動きベクトルLMVと
して出力する。
【0030】また、局部動きベクトル発生部11は、信
頼性の高い動きベクトルを判別するために、単位フィー
ルド当りM個の局部動き検出領域に分けて、互いに異な
るM個の局部動きベクトルLMVを時間的な順序により
判断する。
頼性の高い動きベクトルを判別するために、単位フィー
ルド当りM個の局部動き検出領域に分けて、互いに異な
るM個の局部動きベクトルLMVを時間的な順序により
判断する。
【0031】このように局部動きベクトルLMVを判断
するとき、本発明では、計算及び貯蔵手段のハードウェ
ア数を減少するために、2進エッジ映像データを使用
し、従来のような実際の映像データあるいはろ波された
多重ビット映像データを使わないようにしている。した
がって、局部動きベクトルLMVの発生時に、その2進
エッジパターン照合技術を使用することで、映像安定化
システムのハードウェアを大幅に減縮することができ、
映像データの動きが設定される範囲を超過しない場合に
は、動き周波数に関係なく連続的な映像データを均一に
安定化させることができる利点がある。
するとき、本発明では、計算及び貯蔵手段のハードウェ
ア数を減少するために、2進エッジ映像データを使用
し、従来のような実際の映像データあるいはろ波された
多重ビット映像データを使わないようにしている。した
がって、局部動きベクトルLMVの発生時に、その2進
エッジパターン照合技術を使用することで、映像安定化
システムのハードウェアを大幅に減縮することができ、
映像データの動きが設定される範囲を超過しない場合に
は、動き周波数に関係なく連続的な映像データを均一に
安定化させることができる利点がある。
【0032】そして、上記のように形成される局部動き
ベクトルLMVを適切に組み合わせると、フィールド動
きベクトルFMVを得ることができる。このためにフィ
ールド動きベクトル発生部12は、局部動きベクトル発
生部11からM個の局部動きベクトルを受信して、基準
フィールドと比較フィールドとの間で目的とする動きベ
クトルであるフィールド動きベクトルFMVを得る。こ
のようなフィールド動きベクトルFMVを発生するため
に、フィールド動きベクトル発生部12は、各局部動き
ベクトルLMVの孤立度(isolativity )と安定度(st
ability )に対する加重値を適応的に決定し、決定され
た加重値を局部動きベクトルLMVと組合わせる方式を
使用している。
ベクトルLMVを適切に組み合わせると、フィールド動
きベクトルFMVを得ることができる。このためにフィ
ールド動きベクトル発生部12は、局部動きベクトル発
生部11からM個の局部動きベクトルを受信して、基準
フィールドと比較フィールドとの間で目的とする動きベ
クトルであるフィールド動きベクトルFMVを得る。こ
のようなフィールド動きベクトルFMVを発生するため
に、フィールド動きベクトル発生部12は、各局部動き
ベクトルLMVの孤立度(isolativity )と安定度(st
ability )に対する加重値を適応的に決定し、決定され
た加重値を局部動きベクトルLMVと組合わせる方式を
使用している。
【0033】また、フィールド動きベクトル発生部12
の出力を受信する累積動きベクトル発生部13は、二つ
の連続するフィールド間の映像データ振れをより安定化
させるために、連続して受信されるフィールド動きベク
トルFMVを累積して累積動きベクトルAMVを発生す
る。
の出力を受信する累積動きベクトル発生部13は、二つ
の連続するフィールド間の映像データ振れをより安定化
させるために、連続して受信されるフィールド動きベク
トルFMVを累積して累積動きベクトルAMVを発生す
る。
【0034】補償累積動きベクトル発生部16は、累積
動きベクトルAMVに含まれる、画面内の誤検出動きベ
クトルの成分を取除くことで、安定した画面を再現でき
るようにする。このため、補償累積動きベクトル発生部
16は、適応的な誤りベクトル補償値(Compensating V
alue)を使用する。この誤りベクトル補償値を決定する
要素として、累積動きベクトルAMVと平均最大相関度
差Cadを用いる。
動きベクトルAMVに含まれる、画面内の誤検出動きベ
クトルの成分を取除くことで、安定した画面を再現でき
るようにする。このため、補償累積動きベクトル発生部
16は、適応的な誤りベクトル補償値(Compensating V
alue)を使用する。この誤りベクトル補償値を決定する
要素として、累積動きベクトルAMVと平均最大相関度
差Cadを用いる。
【0035】この場合、フィールド動きベクトルFMV
を加算した累積動きベクトルAMVの値が小さいとき、
あるいは最大相関度差Cadが小さいときには、検出さ
れた動きベクトルが誤っている確率が高い、すなわち、
誤検出動きベクトルの確率が高いので、誤りベクトル補
償値を大きくして微細動きを除去することができる。こ
れによって、累積動きベクトルAMVの値が大きい場
合、あるいは平均最大相関度差Cadが大きい場合に、
検出された動きベクトルを最大限に利用することで完璧
な動き補正が可能になる。
を加算した累積動きベクトルAMVの値が小さいとき、
あるいは最大相関度差Cadが小さいときには、検出さ
れた動きベクトルが誤っている確率が高い、すなわち、
誤検出動きベクトルの確率が高いので、誤りベクトル補
償値を大きくして微細動きを除去することができる。こ
れによって、累積動きベクトルAMVの値が大きい場
合、あるいは平均最大相関度差Cadが大きい場合に、
検出された動きベクトルを最大限に利用することで完璧
な動き補正が可能になる。
【0036】そして、アドレス制御及びズーム処理部1
4は、上述のように補償累積動きベクトル発生部16か
ら出力される補償累積動きベクトルCAMVを受信し
て、フィールドメモリ15に貯蔵されている映像データ
の出力を制御して動きを補償する。すなわち、アドレス
制御及びズーム処理部14は、補償累積動きベクトル発
生部16からの補償累積動きベクトルCAMVを受信し
てフィールドメモリ15の読出アドレスを計算し、これ
に従ってフィールドメモリ15は、該当する領域に貯蔵
している映像データを出力する。このとき、アドレス制
御及びズーム処理部14が、映像データの動きによって
発生される外郭部分の余白データを補償する。これは、
補間による方法で、受信される映像データの一定部分を
拡大(zoom)することにより、最終的に安定化した映像
を出力できるようにする。
4は、上述のように補償累積動きベクトル発生部16か
ら出力される補償累積動きベクトルCAMVを受信し
て、フィールドメモリ15に貯蔵されている映像データ
の出力を制御して動きを補償する。すなわち、アドレス
制御及びズーム処理部14は、補償累積動きベクトル発
生部16からの補償累積動きベクトルCAMVを受信し
てフィールドメモリ15の読出アドレスを計算し、これ
に従ってフィールドメモリ15は、該当する領域に貯蔵
している映像データを出力する。このとき、アドレス制
御及びズーム処理部14が、映像データの動きによって
発生される外郭部分の余白データを補償する。これは、
補間による方法で、受信される映像データの一定部分を
拡大(zoom)することにより、最終的に安定化した映像
を出力できるようにする。
【0037】以上のように、本発明による映像安定化シ
ステムは、図1に示すように、大別すると、局部動きベ
クトル発生部11、フィールド動きベクトル発生部1
2、累積動きベクトル発生部13、アドレス制御及びズ
ーム処理部14、フィールドメモリ15、及び補償累積
動きベクトル発生部16という6個の構成ユニットを有
する。そして、これら構成ユニットにおいて、多様に発
生される映像データの不安定な条件に応じて映像データ
が適応的に補償される。この不安定な条件とは、意図的
なパン(Panning )により画面が移動する場合、低いコ
ントラストの映像が受信される場合、反復的な形態を有
する映像の場合、動く物体が存在する映像の場合、動き
ベクトルに雑音成分が存在する映像の場合があげられ
る。すなわち、意図的なパンの場合は、累積動きベクト
ルAMVを低下させる不安定な条件となり、その他の場
合は、局部動きベクトルLMVを低下させる不安定な条
件となる。
ステムは、図1に示すように、大別すると、局部動きベ
クトル発生部11、フィールド動きベクトル発生部1
2、累積動きベクトル発生部13、アドレス制御及びズ
ーム処理部14、フィールドメモリ15、及び補償累積
動きベクトル発生部16という6個の構成ユニットを有
する。そして、これら構成ユニットにおいて、多様に発
生される映像データの不安定な条件に応じて映像データ
が適応的に補償される。この不安定な条件とは、意図的
なパン(Panning )により画面が移動する場合、低いコ
ントラストの映像が受信される場合、反復的な形態を有
する映像の場合、動く物体が存在する映像の場合、動き
ベクトルに雑音成分が存在する映像の場合があげられ
る。すなわち、意図的なパンの場合は、累積動きベクト
ルAMVを低下させる不安定な条件となり、その他の場
合は、局部動きベクトルLMVを低下させる不安定な条
件となる。
【0038】次に、図1に示すような構成を有する第1
実施例の動作について順を追って説明する。
実施例の動作について順を追って説明する。
【0039】図2は、局部動きベクトル発生部11の構
成例を示す。エッジ検出部21は、映像データを受信
し、受信される実際の映像データ、すなわち現在のフィ
ールドの映像データから2進エッジデータ(binary edg
e data)を検出して出力する。このエッジ検出部21の
構成及び動作については、本願出願人によって出願され
た韓国特許出願番号第91−4871号に詳細に開示さ
れている。エッジ検出部21から出力される2進エッジ
データは、エッジパターン整合部23及び以前フィール
ド(現フィールドよりも前のフィールド)の動き検出領
域貯蔵部22にそれぞれ印加される。
成例を示す。エッジ検出部21は、映像データを受信
し、受信される実際の映像データ、すなわち現在のフィ
ールドの映像データから2進エッジデータ(binary edg
e data)を検出して出力する。このエッジ検出部21の
構成及び動作については、本願出願人によって出願され
た韓国特許出願番号第91−4871号に詳細に開示さ
れている。エッジ検出部21から出力される2進エッジ
データは、エッジパターン整合部23及び以前フィール
ド(現フィールドよりも前のフィールド)の動き検出領
域貯蔵部22にそれぞれ印加される。
【0040】以前フィールド動き検出領域貯蔵部22
は、M個の局部動き検出領域で構成されており、エッジ
検出部21から受信される現在のフィールドの2進エッ
ジデータを局部動き検出領域単位で走査(Scanning)
し、該当する局部動き検出領域に貯蔵する。したがっ
て、以前フィールド動き検出領域貯蔵部22は、各局部
動き検出領域に貯蔵している2進エッジデータを1フィ
ールド周期程度遅延させ、該当局部動き検出領域から局
部動きベクトルLMVを検出する場合に以前フィールド
に対応する局部動き検出領域の2進エッジデータをエッ
ジパターン整合部23に出力する。
は、M個の局部動き検出領域で構成されており、エッジ
検出部21から受信される現在のフィールドの2進エッ
ジデータを局部動き検出領域単位で走査(Scanning)
し、該当する局部動き検出領域に貯蔵する。したがっ
て、以前フィールド動き検出領域貯蔵部22は、各局部
動き検出領域に貯蔵している2進エッジデータを1フィ
ールド周期程度遅延させ、該当局部動き検出領域から局
部動きベクトルLMVを検出する場合に以前フィールド
に対応する局部動き検出領域の2進エッジデータをエッ
ジパターン整合部23に出力する。
【0041】エッジパターン整合部23は、エッジ検出
部21から出力される現在のフィールドの2進エッジデ
ータを比較データとして受信し、さらに、以前フィール
ド動き検出領域貯蔵部22から、それぞれ該当する局部
動き検出領域の以前フィールドの2進エッジデータを基
準データとして受信する。そして、エッジパターン整合
部23は、現在の2進エッジデータと以前フィールドの
2進エッジデータとをブロック単位でパターン整合して
対応する局部動き検出領域の相関度データCORを出力
する。
部21から出力される現在のフィールドの2進エッジデ
ータを比較データとして受信し、さらに、以前フィール
ド動き検出領域貯蔵部22から、それぞれ該当する局部
動き検出領域の以前フィールドの2進エッジデータを基
準データとして受信する。そして、エッジパターン整合
部23は、現在の2進エッジデータと以前フィールドの
2進エッジデータとをブロック単位でパターン整合して
対応する局部動き検出領域の相関度データCORを出力
する。
【0042】このような以前フィールド動き検出領域貯
蔵部22及びエッジパターン整合部23の構成及び動作
は、本願出願人により出願された韓国特許出願番号第9
1−10601号に詳細に開示されている。
蔵部22及びエッジパターン整合部23の構成及び動作
は、本願出願人により出願された韓国特許出願番号第9
1−10601号に詳細に開示されている。
【0043】最終的に、局部動き判断部24が、エッジ
パターン整合部23の出力を受信し、受信される相関度
データCORから、それぞれの該当局部動き検出領域の
局部動きベクトルLVMを発生する。
パターン整合部23の出力を受信し、受信される相関度
データCORから、それぞれの該当局部動き検出領域の
局部動きベクトルLVMを発生する。
【0044】図3は、1フィールドの映像データを2進
エッジデータに変換した後、局部動き検出領域単位で該
当する領域の局部動きベクトルを発生する過程を示す図
であって、4個の局部動き検出領域で構成された例を示
している。各局部動き検出領域には、基準動きベクトル
検出領域(Reference Motion Vector Estimation Area
)RMEAを中心として探索動き判断領域(Search Mo
tion Estimation Area)SMEAがあり、この探索動き
判断領域SMEA内に二つの比較動きベクトル検出領域
(Compared Motion Vector Estimation Area)CMEA
がある。
エッジデータに変換した後、局部動き検出領域単位で該
当する領域の局部動きベクトルを発生する過程を示す図
であって、4個の局部動き検出領域で構成された例を示
している。各局部動き検出領域には、基準動きベクトル
検出領域(Reference Motion Vector Estimation Area
)RMEAを中心として探索動き判断領域(Search Mo
tion Estimation Area)SMEAがあり、この探索動き
判断領域SMEA内に二つの比較動きベクトル検出領域
(Compared Motion Vector Estimation Area)CMEA
がある。
【0045】また、図4は、基準動きベクトル検出領域
RMEA及び比較動きベクトル検出領域CMEAのブロ
ック映像データの数を示す図で、この例では、動きベク
トル検出領域のブロック映像データを構成する画素の数
は32×9と仮定されている。そして、行方向の画素
は、2個の画素の中の一つを選択する方式で、63画素
中の奇数又は偶数番目の画素が選択される。一方、列方
向の画素は、4ライン単位で一つの画素列が選択され
る。したがって、動きベクトル検出領域の画素として
は、行方向に63個の画素と列方向に31ラインが必要
である。
RMEA及び比較動きベクトル検出領域CMEAのブロ
ック映像データの数を示す図で、この例では、動きベク
トル検出領域のブロック映像データを構成する画素の数
は32×9と仮定されている。そして、行方向の画素
は、2個の画素の中の一つを選択する方式で、63画素
中の奇数又は偶数番目の画素が選択される。一方、列方
向の画素は、4ライン単位で一つの画素列が選択され
る。したがって、動きベクトル検出領域の画素として
は、行方向に63個の画素と列方向に31ラインが必要
である。
【0046】図5は、この実施例で使用されるタイミン
グ信号を示す波形図である。VDは垂直同期信号、MD
CKは、1フィールド周期の間に図3に示すように局部
動き検出領域の探索が終了される時点で生じる局部動き
ベクトルのサンプリングクロック、SECLRは、サン
プリングクロックMDCKの発生後に、以前の局部動き
検出領域で有している情報をクリアさせ、次の局部動き
検出領域の情報を検出するためのクリア信号、FCK
は、フィールド動きベクトルFMVを発生するためのフ
ィールド動きベクトルのサンプリングクロック、そし
て、ACKは、累積動きベクトルAMVを発生するため
の累積動きベクトルのサンプリングクロックである。
グ信号を示す波形図である。VDは垂直同期信号、MD
CKは、1フィールド周期の間に図3に示すように局部
動き検出領域の探索が終了される時点で生じる局部動き
ベクトルのサンプリングクロック、SECLRは、サン
プリングクロックMDCKの発生後に、以前の局部動き
検出領域で有している情報をクリアさせ、次の局部動き
検出領域の情報を検出するためのクリア信号、FCK
は、フィールド動きベクトルFMVを発生するためのフ
ィールド動きベクトルのサンプリングクロック、そし
て、ACKは、累積動きベクトルAMVを発生するため
の累積動きベクトルのサンプリングクロックである。
【0047】また、クリア信号SECLRとサンプリン
グクロックFCKとの間で、それまでに発生されて貯蔵
されている局部動き検出領域の情報を順次に処理してフ
ィールド動きベクトルFMVが発生される。そのときの
タイミング信号が図中下方に示されている。SCKは、
映像データのサンプリングクロック、LMVS0及びL
MVS1は、フィールド動きベクトルFMVの発生時
に、対応するそれぞれの局部動きベクトルLMV及び加
重値信号を順次に選択するための制御信号、そして、W
TCKは、各局部動きベクトルLMVに対応する加重値
信号と局部動きベクトルLMVとを乗算及び加算するた
めのクロックである。
グクロックFCKとの間で、それまでに発生されて貯蔵
されている局部動き検出領域の情報を順次に処理してフ
ィールド動きベクトルFMVが発生される。そのときの
タイミング信号が図中下方に示されている。SCKは、
映像データのサンプリングクロック、LMVS0及びL
MVS1は、フィールド動きベクトルFMVの発生時
に、対応するそれぞれの局部動きベクトルLMV及び加
重値信号を順次に選択するための制御信号、そして、W
TCKは、各局部動きベクトルLMVに対応する加重値
信号と局部動きベクトルLMVとを乗算及び加算するた
めのクロックである。
【0048】図6は、図2に示す以前フィールド動き検
出領域貯蔵部22及びエッジパターン整合部23の構成
例を示す。以前フィールド動き検出領域貯蔵部22は、
1フィールドの映像で各局部動き検出領域の基準動きベ
クトル検出領域RMEAのデータを貯蔵できなければな
らない。そこで、基準データ抽出部41は、前記エッジ
検出部21から出力される1フィールドの2進エッジデ
ータから、各局部動き検出領域の基準動きベクトル検出
領域RMEAの位置に対応する図4に示すようなブロッ
クの大きさの2進エッジデータを抽出する。したがっ
て、基準データ抽出部41から出力される2進エッジデ
ータは、32×9=288からなる基準ブロックデータ
である。
出領域貯蔵部22及びエッジパターン整合部23の構成
例を示す。以前フィールド動き検出領域貯蔵部22は、
1フィールドの映像で各局部動き検出領域の基準動きベ
クトル検出領域RMEAのデータを貯蔵できなければな
らない。そこで、基準データ抽出部41は、前記エッジ
検出部21から出力される1フィールドの2進エッジデ
ータから、各局部動き検出領域の基準動きベクトル検出
領域RMEAの位置に対応する図4に示すようなブロッ
クの大きさの2進エッジデータを抽出する。したがっ
て、基準データ抽出部41から出力される2進エッジデ
ータは、32×9=288からなる基準ブロックデータ
である。
【0049】この基準データ抽出部41の出力を受信す
る基準データ貯蔵部42は、基準動きベクトル検出領域
RMEAから発生される基準データを貯蔵する。したが
って、基準データ貯蔵部42は、局部動き検出領域数に
対応させて構成され、局部動き検出領域が移動する度に
受信される基準領域データをシフトさせ貯蔵する。ま
た、この基準データ貯蔵部42は、基準ブロックデータ
を、1フィールド周期だけ遅延した時点でエッジパター
ン整合部23に出力する。
る基準データ貯蔵部42は、基準動きベクトル検出領域
RMEAから発生される基準データを貯蔵する。したが
って、基準データ貯蔵部42は、局部動き検出領域数に
対応させて構成され、局部動き検出領域が移動する度に
受信される基準領域データをシフトさせ貯蔵する。ま
た、この基準データ貯蔵部42は、基準ブロックデータ
を、1フィールド周期だけ遅延した時点でエッジパター
ン整合部23に出力する。
【0050】エッジパターン整合部23では、比較デー
タ抽出部43がエッジ検出部21の出力を受信し、受信
された2進エッジデータを、図4に示すような32×9
(=288)のブロックデータとして発生する。
タ抽出部43がエッジ検出部21の出力を受信し、受信
された2進エッジデータを、図4に示すような32×9
(=288)のブロックデータとして発生する。
【0051】エッジパターン比較部44は、比較データ
抽出部43の出力を比較ブロックデータとして受信し、
基準データ貯蔵部42の出力を基準ブロックデータとし
て受信する。そして、エッジパターン比較部44は、二
つのブロックデータのエッジパターンをそれぞれ画素単
位で比較する。
抽出部43の出力を比較ブロックデータとして受信し、
基準データ貯蔵部42の出力を基準ブロックデータとし
て受信する。そして、エッジパターン比較部44は、二
つのブロックデータのエッジパターンをそれぞれ画素単
位で比較する。
【0052】相関度発生部45は、エッジパターン比較
部44の出力を受信し、比較された画素の比較信号から
同一の論理を有する画素の数を計算して相関度データC
ORを発生する。ここで、ブロックデータは288個の
画素からなるので、相関度データCORは、9ビットの
データとして発生される。
部44の出力を受信し、比較された画素の比較信号から
同一の論理を有する画素の数を計算して相関度データC
ORを発生する。ここで、ブロックデータは288個の
画素からなるので、相関度データCORは、9ビットの
データとして発生される。
【0053】図7は、図2に示す局部動き判断部24に
ついての構成例を示している。受信される相関度データ
CORは、エッジパターン整合部23から局部動き検出
領域の位置に従って順次発生される相関度である。局部
動きベクトル判断部24は、この相関度データCORを
受信して、対応する局部動き検出領域の局部動きベクト
ルLMV、最大相関度Cmax、第2最大相関度C2 n
d、最大相関度差Cdif、平均相関度Cavg等を発
生する。
ついての構成例を示している。受信される相関度データ
CORは、エッジパターン整合部23から局部動き検出
領域の位置に従って順次発生される相関度である。局部
動きベクトル判断部24は、この相関度データCORを
受信して、対応する局部動き検出領域の局部動きベクト
ルLMV、最大相関度Cmax、第2最大相関度C2 n
d、最大相関度差Cdif、平均相関度Cavg等を発
生する。
【0054】最大相関度Cmaxを発生する手段は、レ
ジスタ501、502、504、比較器51、及びマル
チプレクサ52から構成される。レジスタ501は、エ
ッジパターン整合部23から発生される該当局部動き検
出領域の相関度データCORを順次に受信して貯蔵す
る。比較器51は、順次に受信される相関度データCO
Rと現在の相関度データCORが入力される前までの最
大相関度(以下、以前の最大相関度Cmaxという)と
を受信し、受信される二つの信号の大きさを比較して比
較結果を示す信号を発生する。この比較結果信号は、1
ビットの信号であって、現在の相関度データCORが以
前の最大相関度Cmaxより大きいか、小さいかを示す
信号である。レジスタ504は、比較器51の出力を受
信して貯蔵する。マルチプレクサ52は、第1端子に以
前の最大相関度Cmaxを受信し、第2端子にレジスタ
501が出力する現在の相関度データCORを受信し、
そして、選択端子に、レジスタ504から出力される前
記比較結果信号を受信する。このマルチプレクサ52
は、前記比較結果信号の内容に従って、第1端子に受信
される以前の最大相関度Cmaxを選択出力し、あるい
は、第2端子に受信される現在の相関度データCORを
最大相関度Cmaxとして変更出力する。レジスタ50
2は、マルチプレクサ52から出力される最大相関度C
maxを貯蔵する。
ジスタ501、502、504、比較器51、及びマル
チプレクサ52から構成される。レジスタ501は、エ
ッジパターン整合部23から発生される該当局部動き検
出領域の相関度データCORを順次に受信して貯蔵す
る。比較器51は、順次に受信される相関度データCO
Rと現在の相関度データCORが入力される前までの最
大相関度(以下、以前の最大相関度Cmaxという)と
を受信し、受信される二つの信号の大きさを比較して比
較結果を示す信号を発生する。この比較結果信号は、1
ビットの信号であって、現在の相関度データCORが以
前の最大相関度Cmaxより大きいか、小さいかを示す
信号である。レジスタ504は、比較器51の出力を受
信して貯蔵する。マルチプレクサ52は、第1端子に以
前の最大相関度Cmaxを受信し、第2端子にレジスタ
501が出力する現在の相関度データCORを受信し、
そして、選択端子に、レジスタ504から出力される前
記比較結果信号を受信する。このマルチプレクサ52
は、前記比較結果信号の内容に従って、第1端子に受信
される以前の最大相関度Cmaxを選択出力し、あるい
は、第2端子に受信される現在の相関度データCORを
最大相関度Cmaxとして変更出力する。レジスタ50
2は、マルチプレクサ52から出力される最大相関度C
maxを貯蔵する。
【0055】以上より分かるように、最大相関度Cma
xを発生する手段は、エッジパターン整合部23から受
信される現在の相関度データCORを、以前の最大相関
度Cmaxと比較し、その比較結果で相関度の値が大き
い方の相関度データを最大相関度Cmaxとして出力す
ると同時に貯蔵する。
xを発生する手段は、エッジパターン整合部23から受
信される現在の相関度データCORを、以前の最大相関
度Cmaxと比較し、その比較結果で相関度の値が大き
い方の相関度データを最大相関度Cmaxとして出力す
ると同時に貯蔵する。
【0056】第2最大相関度C2 ndを発生する手段
は、ANDゲート53とレジスタ503で構成される。
ANDゲート53は、レジスタ504の出力と図5に示
すクロックSCKとを受信し、上記の比較結果信号の論
理によりクロックSCKの出力を制御する。レジスタ5
03は、以前の最大相関度Cmaxを受信し、クロック
SCKの受信時に、以前の最大相関度Cmaxを第2最
大相関度C2 ndとして変更出力する。このレジスタ5
03は、最大相関度Cmaxが変化するときに、以前の
最大相関度Cmaxを第2最大相関度C2 ndとして出
力すると共に、受信中の最大相関度Cmaxを貯蔵す
る。
は、ANDゲート53とレジスタ503で構成される。
ANDゲート53は、レジスタ504の出力と図5に示
すクロックSCKとを受信し、上記の比較結果信号の論
理によりクロックSCKの出力を制御する。レジスタ5
03は、以前の最大相関度Cmaxを受信し、クロック
SCKの受信時に、以前の最大相関度Cmaxを第2最
大相関度C2 ndとして変更出力する。このレジスタ5
03は、最大相関度Cmaxが変化するときに、以前の
最大相関度Cmaxを第2最大相関度C2 ndとして出
力すると共に、受信中の最大相関度Cmaxを貯蔵す
る。
【0057】最大相関度差Cdifを発生する手段は、
減算器54を用いて構成され、最大相関度Cmaxから
第2最大相関度C2 ndを減算して最大相関度差Cdi
fを発生する。
減算器54を用いて構成され、最大相関度Cmaxから
第2最大相関度C2 ndを減算して最大相関度差Cdi
fを発生する。
【0058】平均相関度Cavgを発生する手段は、加
算器56、レジスタ506、及び除算器57から構成さ
れる。加算器56は、エッジパターン整合部23から出
力される現在の相関度データCORと以前までに累積し
た相関度データを加算する。レジスタ506は、加算器
56の出力を受信して貯蔵し、また、相関度データCO
Rの累積値を加算器56に帰還させる。除算器57は、
レジスタ506の出力を受信し、相関度データCORの
累積値を候補動きベクトルの数で割って平均相関度Ca
vgを発生する。
算器56、レジスタ506、及び除算器57から構成さ
れる。加算器56は、エッジパターン整合部23から出
力される現在の相関度データCORと以前までに累積し
た相関度データを加算する。レジスタ506は、加算器
56の出力を受信して貯蔵し、また、相関度データCO
Rの累積値を加算器56に帰還させる。除算器57は、
レジスタ506の出力を受信し、相関度データCORの
累積値を候補動きベクトルの数で割って平均相関度Ca
vgを発生する。
【0059】この平均相関度Cavgを発生する手段
は、受信される相関度データCORを候補動きベクトル
に該当する相関度データに連続的に加算し、そして、相
関度データCORの累積値を候補動きベクトルの数で割
って平均相関度Cavgを発生する。
は、受信される相関度データCORを候補動きベクトル
に該当する相関度データに連続的に加算し、そして、相
関度データCORの累積値を候補動きベクトルの数で割
って平均相関度Cavgを発生する。
【0060】局部動きベクトルを検出する手段は、レジ
スタ505及び動きベクトル検出部55で構成される。
レジスタ505は、レジスタ504の出力を貯蔵する。
動きベクトル検出部55は、受信されるアドレスクロッ
クを計数して現在の相関度データCORの位置を計算
し、レジスタ505から出力される比較結果信号の論理
により最大相関度Cmaxの値が更新されるときに、該
当時点での現在の相関度データCORの位置情報を、対
応する局部動き検出領域の局部動きベクトルLMVとし
て出力する。
スタ505及び動きベクトル検出部55で構成される。
レジスタ505は、レジスタ504の出力を貯蔵する。
動きベクトル検出部55は、受信されるアドレスクロッ
クを計数して現在の相関度データCORの位置を計算
し、レジスタ505から出力される比較結果信号の論理
により最大相関度Cmaxの値が更新されるときに、該
当時点での現在の相関度データCORの位置情報を、対
応する局部動き検出領域の局部動きベクトルLMVとし
て出力する。
【0061】図8は、図2及び図7に示す局部動き判断
部24から出力される統計的変数及び局部動きベクトル
LMVを受信して、フィールド動きベクトルFMVを発
生するフィールド動きベクトル発生部12の構成例を示
す。局部動き判断部24は、上述のように、エッジパタ
ーン整合部23から発生される各局部動き検出領域の相
関度データCORを受信して局部動きベクトルLMV及
び統計的変数を発生するものである。
部24から出力される統計的変数及び局部動きベクトル
LMVを受信して、フィールド動きベクトルFMVを発
生するフィールド動きベクトル発生部12の構成例を示
す。局部動き判断部24は、上述のように、エッジパタ
ーン整合部23から発生される各局部動き検出領域の相
関度データCORを受信して局部動きベクトルLMV及
び統計的変数を発生するものである。
【0062】フィールド遅延器63は、フィールド動き
ベクトルFMVを受信して1フィールド周期だけ遅延し
た以前フィールド動きベクトル(Previous Field Motio
n Vector)PFMVを発生する。
ベクトルFMVを受信して1フィールド周期だけ遅延し
た以前フィールド動きベクトル(Previous Field Motio
n Vector)PFMVを発生する。
【0063】平均局部動きベクトル発生部64は、局部
動き判断部24から受信される局部動きベクトルLMV
を加算及び除算して、平均局部動きベクトル(Average
Local Motion Vector )ALMVを発生する。
動き判断部24から受信される局部動きベクトルLMV
を加算及び除算して、平均局部動きベクトル(Average
Local Motion Vector )ALMVを発生する。
【0064】平均最大相関度差発生部65は、局部動き
判断部24から受信される最大相関度差Cdifを加算
及び除算して、平均最大相関度差Cad(Correlation
Average Difference)を発生する。
判断部24から受信される最大相関度差Cdifを加算
及び除算して、平均最大相関度差Cad(Correlation
Average Difference)を発生する。
【0065】加重値発生部61は、以前フィールド動き
ベクトルPFMV、局部動きベクトルLMV、平均局部
動きベクトルALMV、平均相関度Cavg、最大相関
度Cmax、及び第2最大相関度C2 ndを受信し、局
部動き判断部24から順次発生される局部動きベクトル
LMVに対応する加重値信号Wを連続的に発生する。こ
の加重値発生部61は、局部動き判断部24から受信さ
れる局部動きベクトルLMV、以前フィールド局部動き
ベクトルPFMV、及び平均局部動きベクトルALMV
を用いて、安定度及び孤立度に対する加重値を発生し、
統計的変数Cavg、Cmax、C2 ndを利用して映
像データの不安定の有無を判別した後、計算された加重
値信号のリセットの有無を決定する。
ベクトルPFMV、局部動きベクトルLMV、平均局部
動きベクトルALMV、平均相関度Cavg、最大相関
度Cmax、及び第2最大相関度C2 ndを受信し、局
部動き判断部24から順次発生される局部動きベクトル
LMVに対応する加重値信号Wを連続的に発生する。こ
の加重値発生部61は、局部動き判断部24から受信さ
れる局部動きベクトルLMV、以前フィールド局部動き
ベクトルPFMV、及び平均局部動きベクトルALMV
を用いて、安定度及び孤立度に対する加重値を発生し、
統計的変数Cavg、Cmax、C2 ndを利用して映
像データの不安定の有無を判別した後、計算された加重
値信号のリセットの有無を決定する。
【0066】フィールド動きベクトル決定部62は、加
重値発生部61から受信される加重値信号とそれぞれ対
応する局部動きベクトルLMVを乗算して、各局部動き
ベクトルLMVに対する加重値を与え、加重値が与えら
れた局部動きベクトルを組合わせてフィールド動きベク
トルFMVを発生する。
重値発生部61から受信される加重値信号とそれぞれ対
応する局部動きベクトルLMVを乗算して、各局部動き
ベクトルLMVに対する加重値を与え、加重値が与えら
れた局部動きベクトルを組合わせてフィールド動きベク
トルFMVを発生する。
【0067】図9は、不規則な映像で発生する局部動き
ベクトルLMVを適応的に処理する図8に示す加重値発
生部61の具体的な構成例である。尚、以下の説明で使
用するデータ名称LMV,Cavg、Cmax、C2 n
dは、図7の説明に用いられた現在値ではなく、図9に
示すレジスタから読出されるデータを意味する。
ベクトルLMVを適応的に処理する図8に示す加重値発
生部61の具体的な構成例である。尚、以下の説明で使
用するデータ名称LMV,Cavg、Cmax、C2 n
dは、図7の説明に用いられた現在値ではなく、図9に
示すレジスタから読出されるデータを意味する。
【0068】局部動きベクトルLMVを選択的に出力す
る手段は、第1貯蔵部701及び第1選択器702で構
成される。第1貯蔵部701は、局部動きベクトルLM
Vを受信し、局部動き検出領域の探索終了時に発生され
るサンプリングクロックMDCKにより受信される局部
動きベクトルLMVを貯蔵する(尚、この第1貯蔵部7
01は、4個の局部動きベクトルLMVを発生する場合
の例を仮定して示してある)。したがって、局部動きベ
クトルLMVは、発生順序に従って、図5に示すように
発生するサンプリングクロックMDCKにより、レジス
タ751〜レジスタ754に順次に貯蔵される。第1選
択器702は、第1貯蔵部701から出力される局部動
きベクトルLMVを受信し、1フィールドの探索が終了
して図5に示すように発生される信号LMVS0、LM
VS1の論理に応じて、第1貯蔵部701に貯蔵された
対応する局部動きベクトルLMVを選択的に出力する。
る手段は、第1貯蔵部701及び第1選択器702で構
成される。第1貯蔵部701は、局部動きベクトルLM
Vを受信し、局部動き検出領域の探索終了時に発生され
るサンプリングクロックMDCKにより受信される局部
動きベクトルLMVを貯蔵する(尚、この第1貯蔵部7
01は、4個の局部動きベクトルLMVを発生する場合
の例を仮定して示してある)。したがって、局部動きベ
クトルLMVは、発生順序に従って、図5に示すように
発生するサンプリングクロックMDCKにより、レジス
タ751〜レジスタ754に順次に貯蔵される。第1選
択器702は、第1貯蔵部701から出力される局部動
きベクトルLMVを受信し、1フィールドの探索が終了
して図5に示すように発生される信号LMVS0、LM
VS1の論理に応じて、第1貯蔵部701に貯蔵された
対応する局部動きベクトルLMVを選択的に出力する。
【0069】平均相関度Cavgを選択的に出力する手
段は、第2貯蔵部703及び第2選択器704で構成さ
れる。第2貯蔵部703は、平均相関度Cavgを受信
し、局部動き検出領域の探索終了時に発生されるサンプ
リングクロックMDCKにより、受信される平均相関度
Cavgを順次貯蔵する(この第2貯蔵部703は、4
個の平均相関度Cavgを発生する場合の例を仮定して
示してある)。第2選択器704は、第2貯蔵部703
から出力される平均相関度Cavgを受信し、1フィー
ルドの探索が終了して発生される信号LMVS0、LM
VS1の論理に応じて、第2貯蔵部703に貯蔵された
対応する平均相関度Cavgを選択的に出力する。
段は、第2貯蔵部703及び第2選択器704で構成さ
れる。第2貯蔵部703は、平均相関度Cavgを受信
し、局部動き検出領域の探索終了時に発生されるサンプ
リングクロックMDCKにより、受信される平均相関度
Cavgを順次貯蔵する(この第2貯蔵部703は、4
個の平均相関度Cavgを発生する場合の例を仮定して
示してある)。第2選択器704は、第2貯蔵部703
から出力される平均相関度Cavgを受信し、1フィー
ルドの探索が終了して発生される信号LMVS0、LM
VS1の論理に応じて、第2貯蔵部703に貯蔵された
対応する平均相関度Cavgを選択的に出力する。
【0070】最大相関度Cmaxを選択的に出力する手
段は、第3貯蔵部705及び第3選択器706で構成さ
れる。第3貯蔵部705は、最大相関度Cmaxを受信
し、局部動き検出領域の探索終了時に発生されるサンプ
リングクロックMDCKにより、受信される最大相関度
Cmaxを順次貯蔵する(この第3貯蔵部705は、4
個の最大相関度Cmaxを発生する場合の例を仮定して
示してある)。第3選択器706は、第3貯蔵部705
から出力される最大相関度Cmaxを受信し、1フィー
ルドの探索が終了して発生される信号LMVS0、SM
VS1の論理に従って、第3貯蔵部705に貯蔵された
対応する最大相関度Cmaxを選択的に出力する。
段は、第3貯蔵部705及び第3選択器706で構成さ
れる。第3貯蔵部705は、最大相関度Cmaxを受信
し、局部動き検出領域の探索終了時に発生されるサンプ
リングクロックMDCKにより、受信される最大相関度
Cmaxを順次貯蔵する(この第3貯蔵部705は、4
個の最大相関度Cmaxを発生する場合の例を仮定して
示してある)。第3選択器706は、第3貯蔵部705
から出力される最大相関度Cmaxを受信し、1フィー
ルドの探索が終了して発生される信号LMVS0、SM
VS1の論理に従って、第3貯蔵部705に貯蔵された
対応する最大相関度Cmaxを選択的に出力する。
【0071】第2最大相関度C2 ndを選択的に出力す
る手段は、第4貯蔵部707及び第4選択器708で構
成される。第4貯蔵部707は、第2最大相関度C2 n
dを受信し、局部動き検出領域の探索終了時に発生され
るサンプリングクロックMDCKにより、受信される第
2最大相関度C2 ndを順次貯蔵する(この第4貯蔵部
707は、4個の第2最大相関度C2 ndを発生する場
合の例を仮定して示してある)。第4選択器708は、
第4貯蔵部707から出力される第2最大相関度C2 n
dを受信し、1フィールドの探索が終了して発生される
信号LMVS0、LMVS1の論理に従って、第4貯蔵
部707に貯蔵された対応する第2最大相関度C2 nd
を選択的に出力する。
る手段は、第4貯蔵部707及び第4選択器708で構
成される。第4貯蔵部707は、第2最大相関度C2 n
dを受信し、局部動き検出領域の探索終了時に発生され
るサンプリングクロックMDCKにより、受信される第
2最大相関度C2 ndを順次貯蔵する(この第4貯蔵部
707は、4個の第2最大相関度C2 ndを発生する場
合の例を仮定して示してある)。第4選択器708は、
第4貯蔵部707から出力される第2最大相関度C2 n
dを受信し、1フィールドの探索が終了して発生される
信号LMVS0、LMVS1の論理に従って、第4貯蔵
部707に貯蔵された対応する第2最大相関度C2 nd
を選択的に出力する。
【0072】孤立度加重値を決定する手段は、減算器7
11及び孤立度加重値コーディング部(isolation weig
ht coder)713で構成される。減算器711は、平均
局部動きベクトルALMVと局部動きベクトルLMVの
差を計算して孤立度を検出する。孤立度加重値コーディ
ング部713は、減算器711から出力される孤立度を
受け、その孤立度の値に対応する加重値を与えて対応す
る局部動きベクトルLMVの孤立度加重値を発生する。
11及び孤立度加重値コーディング部(isolation weig
ht coder)713で構成される。減算器711は、平均
局部動きベクトルALMVと局部動きベクトルLMVの
差を計算して孤立度を検出する。孤立度加重値コーディ
ング部713は、減算器711から出力される孤立度を
受け、その孤立度の値に対応する加重値を与えて対応す
る局部動きベクトルLMVの孤立度加重値を発生する。
【0073】安定度加重値を決定する手段は、減算器7
12及び安定度加重値コーディング部(stability weig
ht coder)714で構成される。減算器712は、局部
動きベクトルLMVと以前フィールド動きベクトルPF
MVの差を計算して安定度を検出する。安定度加重値コ
ーディング部714は、減算器712から安定度を受
け、その安定度の値に対応する加重値を与えて該当局部
動きベクトルLMVの安定度加重値を発生する。
12及び安定度加重値コーディング部(stability weig
ht coder)714で構成される。減算器712は、局部
動きベクトルLMVと以前フィールド動きベクトルPF
MVの差を計算して安定度を検出する。安定度加重値コ
ーディング部714は、減算器712から安定度を受
け、その安定度の値に対応する加重値を与えて該当局部
動きベクトルLMVの安定度加重値を発生する。
【0074】ここで、局部動きベクトルLMVが不安定
な映像データで発生される場合、その条件に従って適応
的にフィールド動きベクトルFMVを発生しなければな
らない。不安定な映像の条件としては、低いコントラス
トを有する場合、反復的な映像形態を有する場合、そし
て、動く物体を有する場合などがある。したがって、こ
のような条件に適応させるために、加重値発生部61は
次のような構成を有している。
な映像データで発生される場合、その条件に従って適応
的にフィールド動きベクトルFMVを発生しなければな
らない。不安定な映像の条件としては、低いコントラス
トを有する場合、反復的な映像形態を有する場合、そし
て、動く物体を有する場合などがある。したがって、こ
のような条件に適応させるために、加重値発生部61は
次のような構成を有している。
【0075】第一に、低いコントラストを有する映像を
検出する機能が、比較器723によって行われる。比較
器723は、平均相関度Cavg及び第1しきい値RE
F1を受信し、平均相関度Cavgと低いコントラスト
の基準である第1しきい値REF1とを比べて、平均相
関度Cavgが第1しきい値REF1より小さいとき、
不安定な映像データと決定する。
検出する機能が、比較器723によって行われる。比較
器723は、平均相関度Cavg及び第1しきい値RE
F1を受信し、平均相関度Cavgと低いコントラスト
の基準である第1しきい値REF1とを比べて、平均相
関度Cavgが第1しきい値REF1より小さいとき、
不安定な映像データと決定する。
【0076】第二に、動く物体のある映像を検出する手
段が、減算器721及び比較器724で構成される。減
算器721は、平均相関度Cavg及び最大相関度Cm
axを受信し、最大相関度Cmaxから平均相関度Ca
vgを減算して差信号を発生する。比較器724は、減
算器721の出力及び第2しきい値REF2を受信し、
該差信号が、動く物体を判断するための基準である第2
しきい値REF2より小さいとき、不安定な映像データ
と決定する。
段が、減算器721及び比較器724で構成される。減
算器721は、平均相関度Cavg及び最大相関度Cm
axを受信し、最大相関度Cmaxから平均相関度Ca
vgを減算して差信号を発生する。比較器724は、減
算器721の出力及び第2しきい値REF2を受信し、
該差信号が、動く物体を判断するための基準である第2
しきい値REF2より小さいとき、不安定な映像データ
と決定する。
【0077】第三に、反復的な形態を有する映像形態を
検出する手段が、減算器722及び比較器725で構成
される。減算器722は、最大相関度Cmax及び第2
最大相関度C2 ndを受信し、最大相関度Cmaxから
第2最大相関度C2 ndを減算して差信号を発生する。
比較器725は、減算器722の出力及び第3しきい値
REF3を受信し、該差信号が、反復的な映像をもつこ
とを判断するための基準である第3しきい値REF3よ
り小さいとき、不安定な映像データと決定する。
検出する手段が、減算器722及び比較器725で構成
される。減算器722は、最大相関度Cmax及び第2
最大相関度C2 ndを受信し、最大相関度Cmaxから
第2最大相関度C2 ndを減算して差信号を発生する。
比較器725は、減算器722の出力及び第3しきい値
REF3を受信し、該差信号が、反復的な映像をもつこ
とを判断するための基準である第3しきい値REF3よ
り小さいとき、不安定な映像データと決定する。
【0078】そして、最終的に、安定した加重値を発生
する手段は、加算器715、除算器716、レジスタ7
17、及びANDゲート726から構成される。加算器
715は、前述の孤立度加重値及び安定度加重値を受信
して加算する。除算器716は、加算器715の出力を
受信し、加算された二つの加重値を平均して対応する局
部動きベクトルLMVの加重値信号Wを発生する。レジ
スタ717は、平均化された加重値信号Wを貯蔵する。
ANDゲート726は、比較器723、724、725
の各出力を受信し、レジスタ717に出力制御信号を印
加する。レジスタ717は、平均化された加重値を受信
し、ANDゲート726からの出力制御信号が不安定な
映像データを示している場合には、平均化した加重値信
号Wの出力を停止する。つまり、安定した加重値を発生
する手段は、受信される映像データが、低いコントラス
トを有したり、反復的な映像を有したり、又は動く物体
を含んでいる号である場合には、対応する局部動きベク
トルLMVの平均化した加重値信号Wをリセットするよ
うに制御し、その他の場合には、加重値信号Wを出力す
るようになっている。
する手段は、加算器715、除算器716、レジスタ7
17、及びANDゲート726から構成される。加算器
715は、前述の孤立度加重値及び安定度加重値を受信
して加算する。除算器716は、加算器715の出力を
受信し、加算された二つの加重値を平均して対応する局
部動きベクトルLMVの加重値信号Wを発生する。レジ
スタ717は、平均化された加重値信号Wを貯蔵する。
ANDゲート726は、比較器723、724、725
の各出力を受信し、レジスタ717に出力制御信号を印
加する。レジスタ717は、平均化された加重値を受信
し、ANDゲート726からの出力制御信号が不安定な
映像データを示している場合には、平均化した加重値信
号Wの出力を停止する。つまり、安定した加重値を発生
する手段は、受信される映像データが、低いコントラス
トを有したり、反復的な映像を有したり、又は動く物体
を含んでいる号である場合には、対応する局部動きベク
トルLMVの平均化した加重値信号Wをリセットするよ
うに制御し、その他の場合には、加重値信号Wを出力す
るようになっている。
【0079】図10は、相関度データCORと映像デー
タの関係を示す特性図である。8aで示すように、映像
データが正常なコントラスト(contrast)を有する場合
には相関度の範囲はひろく、一方、8bで示すように、
低いコントラストを有する映像の場合には相関的な平均
値は減少し、検出される局部動きベクトルLMVの正確
性が落ちる。また、8cで示すように、反復的な映像が
あるときには相関度の差分が緩慢になる。
タの関係を示す特性図である。8aで示すように、映像
データが正常なコントラスト(contrast)を有する場合
には相関度の範囲はひろく、一方、8bで示すように、
低いコントラストを有する映像の場合には相関的な平均
値は減少し、検出される局部動きベクトルLMVの正確
性が落ちる。また、8cで示すように、反復的な映像が
あるときには相関度の差分が緩慢になる。
【0080】図11Aは、局部動きベクトルLMVと平
均局部動きベクトルALMVとの差を計算して孤立度を
求めた後、孤立度加重値コーディング部713で受信さ
れる孤立度の値により、対応する局部動きベクトルLM
Vの孤立度加重値を発生する際の特性図を示す。ここ
で、孤立度は、各局部動きベクトルLMVの相関偏移量
である。また、図11Bは、局部動きベクトルLMVと
以前フィールド動きベクトルPFMVとの差を計算して
安定度を得た後、安定度加重値コーディング部714で
受信される安定度の値により、対応する局部動きベクト
ルLMVの安定度加重値を発生する際の特性図を示す。
ここで、安定度は、全局部動きベクトルLMVからの偏
移量を意味する。
均局部動きベクトルALMVとの差を計算して孤立度を
求めた後、孤立度加重値コーディング部713で受信さ
れる孤立度の値により、対応する局部動きベクトルLM
Vの孤立度加重値を発生する際の特性図を示す。ここ
で、孤立度は、各局部動きベクトルLMVの相関偏移量
である。また、図11Bは、局部動きベクトルLMVと
以前フィールド動きベクトルPFMVとの差を計算して
安定度を得た後、安定度加重値コーディング部714で
受信される安定度の値により、対応する局部動きベクト
ルLMVの安定度加重値を発生する際の特性図を示す。
ここで、安定度は、全局部動きベクトルLMVからの偏
移量を意味する。
【0081】図12は、図8に示すフィールド動きベク
トル決定部62の構成例で、加重値付与手段を乗算器1
01及び加算器102で構成した例を示す。乗算器10
1は、加重値発生部61の第1選択器702から順次に
出力される局部動きベクトルLMVと局部動きベクトル
LMVに対応する加重値信号Wを順次に乗じて、各局部
動きベクトルLMVに加重値を与える。加算器102
は、乗算器101の出力を受信して順次に加算すること
で、1フィールドの周期に対応する加重値が与えられた
局部動きベクトルLMVの総和信号を発生し、これを被
除数SAとして印加する。
トル決定部62の構成例で、加重値付与手段を乗算器1
01及び加算器102で構成した例を示す。乗算器10
1は、加重値発生部61の第1選択器702から順次に
出力される局部動きベクトルLMVと局部動きベクトル
LMVに対応する加重値信号Wを順次に乗じて、各局部
動きベクトルLMVに加重値を与える。加算器102
は、乗算器101の出力を受信して順次に加算すること
で、1フィールドの周期に対応する加重値が与えられた
局部動きベクトルLMVの総和信号を発生し、これを被
除数SAとして印加する。
【0082】さらに、加重値計数手段としては加算器1
03が用いられる。加算器103は、受信された加重値
信号Wを加算して除数SBとして印加する。この加算器
103は、加重値信号が“0”のとき加算機能を行うこ
とができないので、結果的に、該当するフィールド周期
で高信頼性の局部動きベクトルLMVのみ加重値と乗算
し出力できることになる。
03が用いられる。加算器103は、受信された加重値
信号Wを加算して除数SBとして印加する。この加算器
103は、加重値信号が“0”のとき加算機能を行うこ
とができないので、結果的に、該当するフィールド周期
で高信頼性の局部動きベクトルLMVのみ加重値と乗算
し出力できることになる。
【0083】そして、フィールド動きベクトル計算手段
には除算器104が用いられる。除算器104は、加算
器102の出力を被除数SAとして、加算器103の出
力を除数SBとして受信し、その除算過程によりフィー
ルド動きベクトルFMVを発生する。
には除算器104が用いられる。除算器104は、加算
器102の出力を被除数SAとして、加算器103の出
力を除数SBとして受信し、その除算過程によりフィー
ルド動きベクトルFMVを発生する。
【0084】図13は、図1に示す累積動きベクトル発
生部13の構成例であって、フィールド動きベクトルF
MVを入力とし、累積動きベクトルAMVを出力する。
同図に示すパン識別部111は、フィールド動きベクト
ルFMVを受信し、このフィールド動きベクトルFMV
が所定のフレーム範囲外の同一の方向に発生されると、
意図的なパンとみなして、累積動きベクトルAMVの減
衰値を変更するためパン識別信号PIDを発生する。
生部13の構成例であって、フィールド動きベクトルF
MVを入力とし、累積動きベクトルAMVを出力する。
同図に示すパン識別部111は、フィールド動きベクト
ルFMVを受信し、このフィールド動きベクトルFMV
が所定のフレーム範囲外の同一の方向に発生されると、
意図的なパンとみなして、累積動きベクトルAMVの減
衰値を変更するためパン識別信号PIDを発生する。
【0085】また、比較器119は、以前までの累積動
きベクトルAMVを比較入力として受信し、累積動きベ
クトルAMVの大きさが最大補正領域を超過しないよう
にするための第4しきい値REF4を基準入力として受
信する。この比較器119は、累積動きベクトルAMV
の大きさが第4しきい値REF4より大きい場合、累積
動きベクトルAMVの減衰値を変更するために比較結果
信号を発生する。
きベクトルAMVを比較入力として受信し、累積動きベ
クトルAMVの大きさが最大補正領域を超過しないよう
にするための第4しきい値REF4を基準入力として受
信する。この比較器119は、累積動きベクトルAMV
の大きさが第4しきい値REF4より大きい場合、累積
動きベクトルAMVの減衰値を変更するために比較結果
信号を発生する。
【0086】ORゲート120は、パン識別部111及
び比較器119の各出力を受信し、その受信される各信
号の論理に従って減衰値の選択のための選択信号を発生
する。
び比較器119の各出力を受信し、その受信される各信
号の論理に従って減衰値の選択のための選択信号を発生
する。
【0087】減衰決定手段は、マルチプレクサ118及
び減衰器116、117で構成される。第1減衰器11
6は、以前までの累積動きベクトルAMVを受信し、セ
ットされた第1減衰係数K1により、受信される累積動
きベクトルAMVを減衰する。第2減衰器117は、以
前までの累積動きベクトルAMVを受信し、第2減衰係
数K2により、受信される累積動きベクトルAMVを減
衰する。
び減衰器116、117で構成される。第1減衰器11
6は、以前までの累積動きベクトルAMVを受信し、セ
ットされた第1減衰係数K1により、受信される累積動
きベクトルAMVを減衰する。第2減衰器117は、以
前までの累積動きベクトルAMVを受信し、第2減衰係
数K2により、受信される累積動きベクトルAMVを減
衰する。
【0088】マルチプレクサ118は、第1端子に第1
減衰器116の出力を受信し、また、第2端子に第2減
衰器117の出力を受信し、そして、選択端子にORゲ
ート120の出力を受信する。このマルチプレクサ11
8は、パニング識別信号PID又は前記比較結果信号が
受信されると、第2端子に受信される第2減衰器117
の出力を選択出力し、その他の場合には第1端子に受信
される第1減衰器116の出力を選択出力する。
減衰器116の出力を受信し、また、第2端子に第2減
衰器117の出力を受信し、そして、選択端子にORゲ
ート120の出力を受信する。このマルチプレクサ11
8は、パニング識別信号PID又は前記比較結果信号が
受信されると、第2端子に受信される第2減衰器117
の出力を選択出力し、その他の場合には第1端子に受信
される第1減衰器116の出力を選択出力する。
【0089】累積動きベクトル発生手段は、レジスタ1
12、115、加算器113、及びリミッタ114から
構成される。レジスタ112は、受信されるフィールド
動きベクトルFMVを、図5に示すサンプリングクロッ
クFCKに応じて貯蔵する。加算器113は、レジスタ
112及びマルチプレクサ118の各出力を受信し、二
つの信号を加算して累積動きベクトルAMVを発生す
る。リミッタ114は、加算器113の出力を受信し、
累積動きベクトルAMVが一定の大きさ以上となると
き、一定の値で累積動きベクトルAMVをリミッティン
グする。レジスタ115は、リミッタ114の出力を受
信し、図5に示すサンプリングクロックACKに応じ
て、その累積動きベクトルAMVを減衰器116、11
7、及び比較器119の入力側に印加すると同時に、補
償累積動きベクトル発生部16に出力する。
12、115、加算器113、及びリミッタ114から
構成される。レジスタ112は、受信されるフィールド
動きベクトルFMVを、図5に示すサンプリングクロッ
クFCKに応じて貯蔵する。加算器113は、レジスタ
112及びマルチプレクサ118の各出力を受信し、二
つの信号を加算して累積動きベクトルAMVを発生す
る。リミッタ114は、加算器113の出力を受信し、
累積動きベクトルAMVが一定の大きさ以上となると
き、一定の値で累積動きベクトルAMVをリミッティン
グする。レジスタ115は、リミッタ114の出力を受
信し、図5に示すサンプリングクロックACKに応じ
て、その累積動きベクトルAMVを減衰器116、11
7、及び比較器119の入力側に印加すると同時に、補
償累積動きベクトル発生部16に出力する。
【0090】図14Aは、パン識別部111におけるパ
ン識別信号PIDについてのタイミングを示し、図14
Bは、パン識別信号PID及び比較器119の比較結果
信号の状態による、時間の変化に関連した累積動きベク
トルAMVの移動量を示す例示図であり、そして、図1
4Cは、フィールド動きベクトルFMVからパンが感知
されるとき、図14Bに示すように累積動きベクトルA
MVを発生できるように、減衰係数が切り換えられる過
程を示す。
ン識別信号PIDについてのタイミングを示し、図14
Bは、パン識別信号PID及び比較器119の比較結果
信号の状態による、時間の変化に関連した累積動きベク
トルAMVの移動量を示す例示図であり、そして、図1
4Cは、フィールド動きベクトルFMVからパンが感知
されるとき、図14Bに示すように累積動きベクトルA
MVを発生できるように、減衰係数が切り換えられる過
程を示す。
【0091】図12において、周期T1〜T2は、パン
識別信号PIDが発生されて第2減衰係数K2で減衰し
た累積動きベクトルAMVが出力される過程を示し、周
期T3〜T4は累積動きベクトルAMVの大きさが補正
の上限値である第4しきい値REF4より大きくなる状
態で、第2減衰係数K2で減衰した累積動きベクトルA
MVが出力される過程を示す。
識別信号PIDが発生されて第2減衰係数K2で減衰し
た累積動きベクトルAMVが出力される過程を示し、周
期T3〜T4は累積動きベクトルAMVの大きさが補正
の上限値である第4しきい値REF4より大きくなる状
態で、第2減衰係数K2で減衰した累積動きベクトルA
MVが出力される過程を示す。
【0092】図15は、累積動きベクトルAMVが、雑
音により微細な動きベクトルを含む場合、これを抑制す
るための補償累積動きベクトル発生部16の構成例を示
す。
音により微細な動きベクトルを含む場合、これを抑制す
るための補償累積動きベクトル発生部16の構成例を示
す。
【0093】誤りベクトル補償決定手段は、第1、第2
誤りベクトル補償決定部131、132、加算器13
3、及び除算器134から構成される。第1誤りベクト
ル補償決定部131は、累積動きベクトル発生部13の
出力端に接続され、受信される累積動きベクトルAMV
の最小動きを決定して第1誤りベクトル補償値C1を発
生する。第2誤りベクトル補償決定部132は、平均最
大相関度差発生部65に接続され、受信される平均最大
相関度差Cadの最小有効動きを決定して第2誤りベク
トル補償値C2を発生する。加算器133は、第1誤り
ベクトル補償決定部131及び第2誤りベクトル補償決
定部132の各出力端と接続され、二つの誤りベクトル
補償値C1及びC2を加算する。除算器134は、加算
器133と接続され、加算器133の出力C1+C2を
“1/2”に割って平均誤りベクトル補償値Vcを発生
する。
誤りベクトル補償決定部131、132、加算器13
3、及び除算器134から構成される。第1誤りベクト
ル補償決定部131は、累積動きベクトル発生部13の
出力端に接続され、受信される累積動きベクトルAMV
の最小動きを決定して第1誤りベクトル補償値C1を発
生する。第2誤りベクトル補償決定部132は、平均最
大相関度差発生部65に接続され、受信される平均最大
相関度差Cadの最小有効動きを決定して第2誤りベク
トル補償値C2を発生する。加算器133は、第1誤り
ベクトル補償決定部131及び第2誤りベクトル補償決
定部132の各出力端と接続され、二つの誤りベクトル
補償値C1及びC2を加算する。除算器134は、加算
器133と接続され、加算器133の出力C1+C2を
“1/2”に割って平均誤りベクトル補償値Vcを発生
する。
【0094】したがって、誤りベクトル補償決定手段
は、受信される累積動きベクトルAMV及び平均最大相
関度差Cadから、それぞれ、誤りベクトル補償値C
1、C2を決定した後、この二つの誤りベクトル補償値
C1、C2を平均して出力する。
は、受信される累積動きベクトルAMV及び平均最大相
関度差Cadから、それぞれ、誤りベクトル補償値C
1、C2を決定した後、この二つの誤りベクトル補償値
C1、C2を平均して出力する。
【0095】補償累積動きベクトル発生手段は、レジス
タ135、136、減算器137、加算器138、OR
ゲート140、インバータ141、及びマルチプレクサ
139から構成される。レジスタ136は、累積動きベ
クトルAMVを受信して貯蔵する。レジスタ135は、
平均誤りベクトル補償値Vcを受信して貯蔵する。減算
器137は、レジスタ136、135の各出力を受信
し、累積動きベクトルAMVから平均誤りベクトル補償
値Vcを減算して第1補償累積動きベクトルXn−Vc
を発生する。加算器138は、レジスタ136、135
の各出力を受信し、累積動きベクトルAMVと平均誤り
ベクトル補償値Vcを加算して第2補償累積動きベクト
ルXn+Vcを発生する。ORゲート140は、第1補
償累積動きベクトルXn−VcのMSBと、反転された
第2補償累積動きベクトルXn+VcのMSBとを受信
して論理和出力する。マルチプレクサ139は、減算器
137の第1補償累積動きベクトルXn−Vcの出力を
第1端子に受信し、また、加算器138の第2補償累積
動きベクトルXn+Vcの出力を第2端子に受信し、さ
らに、第1補償累積動きベクトルXn−VcのMSBを
選択端子に受信し、そして、ORゲート140の出力を
エネーブル端子に受信する。このマルチプレクサ139
は、累積動きベクトルAMVと平均誤りベクトル補償値
Vcとの関係に基づいて、第1、第2補償累積動きベク
トルXn−Vc、Xn+Vcを選択してアドレス制御及
びズーム処理部14に出力する。
タ135、136、減算器137、加算器138、OR
ゲート140、インバータ141、及びマルチプレクサ
139から構成される。レジスタ136は、累積動きベ
クトルAMVを受信して貯蔵する。レジスタ135は、
平均誤りベクトル補償値Vcを受信して貯蔵する。減算
器137は、レジスタ136、135の各出力を受信
し、累積動きベクトルAMVから平均誤りベクトル補償
値Vcを減算して第1補償累積動きベクトルXn−Vc
を発生する。加算器138は、レジスタ136、135
の各出力を受信し、累積動きベクトルAMVと平均誤り
ベクトル補償値Vcを加算して第2補償累積動きベクト
ルXn+Vcを発生する。ORゲート140は、第1補
償累積動きベクトルXn−VcのMSBと、反転された
第2補償累積動きベクトルXn+VcのMSBとを受信
して論理和出力する。マルチプレクサ139は、減算器
137の第1補償累積動きベクトルXn−Vcの出力を
第1端子に受信し、また、加算器138の第2補償累積
動きベクトルXn+Vcの出力を第2端子に受信し、さ
らに、第1補償累積動きベクトルXn−VcのMSBを
選択端子に受信し、そして、ORゲート140の出力を
エネーブル端子に受信する。このマルチプレクサ139
は、累積動きベクトルAMVと平均誤りベクトル補償値
Vcとの関係に基づいて、第1、第2補償累積動きベク
トルXn−Vc、Xn+Vcを選択してアドレス制御及
びズーム処理部14に出力する。
【0096】要するに、補償累積動きベクトル発生手段
は、累積動きベクトルAMVから平均化した平均誤りベ
クトル補償値Vcを減算して第1補償累積動きベクトル
Xn−Vcを発生し、また、累積動きベクトルAMVと
平均化した誤りベクトル補償値Vcを加算して第2補償
累積動きベクトルXn+Vcを発生する。そして、累積
動きベクトルAMVと平均誤りベクトル補償値Vcとを
分析して、第1補償累積動きベクトルXn−Vc又は第
2補償累積動きベクトルXn+Vcを補償累積動きベク
トルCAMVとして選択出力することで、雑音成分によ
って発生する微細な誤り動きを適応的に除去した補償累
積動きベクトルCAMVを発生する。
は、累積動きベクトルAMVから平均化した平均誤りベ
クトル補償値Vcを減算して第1補償累積動きベクトル
Xn−Vcを発生し、また、累積動きベクトルAMVと
平均化した誤りベクトル補償値Vcを加算して第2補償
累積動きベクトルXn+Vcを発生する。そして、累積
動きベクトルAMVと平均誤りベクトル補償値Vcとを
分析して、第1補償累積動きベクトルXn−Vc又は第
2補償累積動きベクトルXn+Vcを補償累積動きベク
トルCAMVとして選択出力することで、雑音成分によ
って発生する微細な誤り動きを適応的に除去した補償累
積動きベクトルCAMVを発生する。
【0097】すなわち、累積動きベクトルAMVが正数
で、平均誤りベクトル補償値Vcより大きい場合には、
第1補償累積動きベクトルXn−Vcを補償累積動きベ
クトルCAMVとして選択出力し、また、累積動きベク
トルAMVが正数で、平均誤りベクトル補償値Vcより
小さい場合には、補償累積動きベクトルを“0”にリセ
ットさせる。一方、累積動きベクトルAMVが負数で、
平均誤りベクトル補償値Vcより小さい場合には、第2
補償累積動きベクトルXn+Vcを補償累積動きベクト
ルCAMVとして選択出力し、また、累積動きベクトル
AMVが負数で、平均誤りベクトル補償値Vcより大き
い場合には、補償累積動きベクトルCAMVを“0”に
リセットさせる。
で、平均誤りベクトル補償値Vcより大きい場合には、
第1補償累積動きベクトルXn−Vcを補償累積動きベ
クトルCAMVとして選択出力し、また、累積動きベク
トルAMVが正数で、平均誤りベクトル補償値Vcより
小さい場合には、補償累積動きベクトルを“0”にリセ
ットさせる。一方、累積動きベクトルAMVが負数で、
平均誤りベクトル補償値Vcより小さい場合には、第2
補償累積動きベクトルXn+Vcを補償累積動きベクト
ルCAMVとして選択出力し、また、累積動きベクトル
AMVが負数で、平均誤りベクトル補償値Vcより大き
い場合には、補償累積動きベクトルCAMVを“0”に
リセットさせる。
【0098】図16Aは、第1誤りベクトル補償決定部
131で処理される累積動きベクトルAMVと第1誤り
ベクトル補償値C1との関係を示す特性図、図16B
は、第2誤りベクトル補償決定部132で処理される平
均最大相関度差Cadと第2誤りベクトル補償値C2と
の関係を示す特性図である。
131で処理される累積動きベクトルAMVと第1誤り
ベクトル補償値C1との関係を示す特性図、図16B
は、第2誤りベクトル補償決定部132で処理される平
均最大相関度差Cadと第2誤りベクトル補償値C2と
の関係を示す特性図である。
【0099】次に、以上の図1〜図16を参照して、本
発明による映像安定化システムの第1実施例の動作過程
を詳細に説明する。
発明による映像安定化システムの第1実施例の動作過程
を詳細に説明する。
【0100】図2に示す局部動きベクトル発生部11で
は、1フィールドの実際の映像データ(real image dat
a )を受信して、2進エッジデータに変換出力し、この
2進エッジデータを、M個の局部動き検出領域に分割し
た以前フィールドの2進エッジデータとそれぞれパター
ン整合させて、相関度データCORを発生する。そし
て、このM個の相関度データCORを、それぞれ対応す
る局部動き判断部24で受信して、該当する局部動き検
出領域での局部動きベクトルLMVを発生する。このM
個の局部動きベクトルLMVは、フィールド動きベクト
ルFMV及び累積動きベクトルAMVの発生に利用され
るので、映像安定化システムにおいて非常に重要な役割
を遂行する。つまり、この局部動きベクトルLMVを正
確に発生できれば、フィールド動きベクトルFMV及び
累積動きベクトルAMVは、単純な平均化及び累積だけ
を行うだけでよい。
は、1フィールドの実際の映像データ(real image dat
a )を受信して、2進エッジデータに変換出力し、この
2進エッジデータを、M個の局部動き検出領域に分割し
た以前フィールドの2進エッジデータとそれぞれパター
ン整合させて、相関度データCORを発生する。そし
て、このM個の相関度データCORを、それぞれ対応す
る局部動き判断部24で受信して、該当する局部動き検
出領域での局部動きベクトルLMVを発生する。このM
個の局部動きベクトルLMVは、フィールド動きベクト
ルFMV及び累積動きベクトルAMVの発生に利用され
るので、映像安定化システムにおいて非常に重要な役割
を遂行する。つまり、この局部動きベクトルLMVを正
確に発生できれば、フィールド動きベクトルFMV及び
累積動きベクトルAMVは、単純な平均化及び累積だけ
を行うだけでよい。
【0101】局部動きベクトル発生部11は、図2に示
すように、エッジ検出部21が受信する実際の映像デー
タのエッジを検出し、これを2進エッジデータに変換出
力する。エッジ検出部21から出力される2進エッジデ
ータは、1ビットのデータとなる。すると、図6に示す
以前フィールド動き検出領域貯蔵部22の基準データ抽
出部41は、エッジ検出部21から出力される2進エッ
ジデータを受信して、図3に示すように、各局部動き検
出領域で基準動きベクトル検出領域RMEAの基準ブロ
ックデータを抽出する。そして、基準データ貯蔵部42
が、サンプリングクロックMDCKにより、該基準ブロ
ックデータを各局部動き検出領域の終了時点で貯蔵し、
以前の局部動き検出領域の基準ブロックデータをシフト
して出力する。すなわち、基準データ貯蔵部42は、受
信される基準ブロックデータを1フィールド周期だけ遅
延した後、該当する局部動き検出領域の現在のフィール
ドの2進エッジデータを出力する時点で、以前フィール
ドの該当局部動き検出領域で抽出した基準ブロックデー
タを順次に出力する。
すように、エッジ検出部21が受信する実際の映像デー
タのエッジを検出し、これを2進エッジデータに変換出
力する。エッジ検出部21から出力される2進エッジデ
ータは、1ビットのデータとなる。すると、図6に示す
以前フィールド動き検出領域貯蔵部22の基準データ抽
出部41は、エッジ検出部21から出力される2進エッ
ジデータを受信して、図3に示すように、各局部動き検
出領域で基準動きベクトル検出領域RMEAの基準ブロ
ックデータを抽出する。そして、基準データ貯蔵部42
が、サンプリングクロックMDCKにより、該基準ブロ
ックデータを各局部動き検出領域の終了時点で貯蔵し、
以前の局部動き検出領域の基準ブロックデータをシフト
して出力する。すなわち、基準データ貯蔵部42は、受
信される基準ブロックデータを1フィールド周期だけ遅
延した後、該当する局部動き検出領域の現在のフィール
ドの2進エッジデータを出力する時点で、以前フィール
ドの該当局部動き検出領域で抽出した基準ブロックデー
タを順次に出力する。
【0102】一方、比較データ抽出部43は、エッジ検
出部21から2進エッジデータを受信して、図4に示す
ような比較ブロックデータを発生する。それにより、エ
ッジパターン比較部44が、該比較ブロックデータ及び
前記基準ブロックデータの各ブロックパターンを比較し
て、以前フィールド及び現在フィールドの該当する局部
動き検出領域で、同一の論理を有するエッジデータの個
数を判別する。図3に示す例の場合、基準ブロックデー
タと一番大きい相関度をもつ動きベクトル検出領域は、
比較動きベクトル検出領域CMEAであろう。
出部21から2進エッジデータを受信して、図4に示す
ような比較ブロックデータを発生する。それにより、エ
ッジパターン比較部44が、該比較ブロックデータ及び
前記基準ブロックデータの各ブロックパターンを比較し
て、以前フィールド及び現在フィールドの該当する局部
動き検出領域で、同一の論理を有するエッジデータの個
数を判別する。図3に示す例の場合、基準ブロックデー
タと一番大きい相関度をもつ動きベクトル検出領域は、
比較動きベクトル検出領域CMEAであろう。
【0103】エッジパターン比較部44の出力を受信す
る相関度発生部45は、比較結果信号を受信して同一の
論理を有する画素の数を計算し、その結果を相関度デー
タCORとして発生する。つまり、相関度データCOR
は、時間的に連続した二つのフィールドにおいて、各局
部動き検出領域のブロックデータで一致する2進エッジ
データの数となることが分かる。そして、局部動き判断
部24が、相関度データCORを用いて、各局部動き検
出領域の局部動きベクトルLMV及び統計的変数を順次
に発生する。
る相関度発生部45は、比較結果信号を受信して同一の
論理を有する画素の数を計算し、その結果を相関度デー
タCORとして発生する。つまり、相関度データCOR
は、時間的に連続した二つのフィールドにおいて、各局
部動き検出領域のブロックデータで一致する2進エッジ
データの数となることが分かる。そして、局部動き判断
部24が、相関度データCORを用いて、各局部動き検
出領域の局部動きベクトルLMV及び統計的変数を順次
に発生する。
【0104】次に、相関度データCORを用いて適応的
に動きベクトルを検出する過程を説明する。局部動き判
断部24では、該当する局部動き検出領域の相関度デー
タCORを受信して局部動きベクトルLMVを発生し、
また、加重値発生部61、フィールド動きベクトル決定
部62で使用される統計的変数を求める。統計的変数と
しては、最大相関度Cmax、第2最大相関度C2 n
d、最大相関度差Cdif、そして平均相関度Cavg
等がある。
に動きベクトルを検出する過程を説明する。局部動き判
断部24では、該当する局部動き検出領域の相関度デー
タCORを受信して局部動きベクトルLMVを発生し、
また、加重値発生部61、フィールド動きベクトル決定
部62で使用される統計的変数を求める。統計的変数と
しては、最大相関度Cmax、第2最大相関度C2 n
d、最大相関度差Cdif、そして平均相関度Cavg
等がある。
【0105】フィールド動きベクトル発生部12は、局
部動きベクトル発生部11の局部動き判断部24から出
力される局部動きベクトルLMV及び統計的変数Cma
x、C2 nd、Cdif、Cavg等を用いて、それぞ
れ局部動き検出領域で発生する局部動きベクトルLMV
を得て、その中で信頼性のある局部動きベクトルLMV
だけを選別する。また、このような局部動きベクトルL
MVと、以前フィールド動きベクトルPFMV及び平均
局部動きベクトルALMVとを検査し、検出される局部
動きベクトルLMVの孤立度及び安定度による加重値を
与え、その加重値が与えられた局部動きベクトルLMV
を平均化して、フィールド動きベクトルFMVを決定す
る。すなわち、加重値発生部61は、検出された局部動
きベクトルLMVと平均局部動きベクトルALMV及び
以前フィールド動きベクトルPFMVとから孤立度及び
安定度を計算し、その計算された孤立度及び安定度の加
重値を平均化して、該当する局部動きベクトルLMVに
対し加重値を与える。さらに、統計的変数Cmax、C
2 nd、Cavg等から、低いコントラストを有する映
像、反復的な形態を有する映像、動く物体を含む映像の
印加を検査し、この検査結果に基づいて局部動きベクト
ルLMVの信頼性を判断して、高信頼性の局部動きベク
トルLMVだけを選別する。
部動きベクトル発生部11の局部動き判断部24から出
力される局部動きベクトルLMV及び統計的変数Cma
x、C2 nd、Cdif、Cavg等を用いて、それぞ
れ局部動き検出領域で発生する局部動きベクトルLMV
を得て、その中で信頼性のある局部動きベクトルLMV
だけを選別する。また、このような局部動きベクトルL
MVと、以前フィールド動きベクトルPFMV及び平均
局部動きベクトルALMVとを検査し、検出される局部
動きベクトルLMVの孤立度及び安定度による加重値を
与え、その加重値が与えられた局部動きベクトルLMV
を平均化して、フィールド動きベクトルFMVを決定す
る。すなわち、加重値発生部61は、検出された局部動
きベクトルLMVと平均局部動きベクトルALMV及び
以前フィールド動きベクトルPFMVとから孤立度及び
安定度を計算し、その計算された孤立度及び安定度の加
重値を平均化して、該当する局部動きベクトルLMVに
対し加重値を与える。さらに、統計的変数Cmax、C
2 nd、Cavg等から、低いコントラストを有する映
像、反復的な形態を有する映像、動く物体を含む映像の
印加を検査し、この検査結果に基づいて局部動きベクト
ルLMVの信頼性を判断して、高信頼性の局部動きベク
トルLMVだけを選別する。
【0106】そして、フィールド動きベクトル決定部6
2は、加重値発生部61で得た加重値とこれに対応する
局部動きベクトルLMVの平均を求めることにより、信
頼性のあるフィールド動きベクトルFMVを発生する。
2は、加重値発生部61で得た加重値とこれに対応する
局部動きベクトルLMVの平均を求めることにより、信
頼性のあるフィールド動きベクトルFMVを発生する。
【0107】その後、累積動きベクトル発生部13で、
フィールド動きベクトル発生部12で決定されたフィー
ルド動きベクトルFMVを時間的に累積し、連続的なフ
ィールド間の振れを最初の状態に安定化するため、累積
動きベクトルAMVを求める。
フィールド動きベクトル発生部12で決定されたフィー
ルド動きベクトルFMVを時間的に累積し、連続的なフ
ィールド間の振れを最初の状態に安定化するため、累積
動きベクトルAMVを求める。
【0108】ここで、図7を参照して、局部動き判断部
24の動作を説明しておく。簡単に言えば、図3に示す
局部動き検出領域から発生される相関度データCORの
うち、それぞれ対応する局部動き検出領域の相関度デー
タCORを受信して、局部動きベクトルLMV及び統計
的変数を発生する。相関度データCORは、エッジパタ
ーン整合部23から受信され、その値は、上述のよう
に、局部動き検出領域の位置に従って二つのフィールド
で順次に求められる一致した2進エッジデータの個数と
なる。局部動き判断部24の各レジスタ501〜506
及び動きベクトル検出部55は、局部動き検出領域の探
索が終了する時点で発生される図5に示すクリア信号S
ECLRに応じてリセットされ、次の局部動き検出領域
の局部動きベクトルLMV及び統計的変数を検出する用
意をする。
24の動作を説明しておく。簡単に言えば、図3に示す
局部動き検出領域から発生される相関度データCORの
うち、それぞれ対応する局部動き検出領域の相関度デー
タCORを受信して、局部動きベクトルLMV及び統計
的変数を発生する。相関度データCORは、エッジパタ
ーン整合部23から受信され、その値は、上述のよう
に、局部動き検出領域の位置に従って二つのフィールド
で順次に求められる一致した2進エッジデータの個数と
なる。局部動き判断部24の各レジスタ501〜506
及び動きベクトル検出部55は、局部動き検出領域の探
索が終了する時点で発生される図5に示すクリア信号S
ECLRに応じてリセットされ、次の局部動き検出領域
の局部動きベクトルLMV及び統計的変数を検出する用
意をする。
【0109】まず、最大相関度Cmaxの発生過程を説
明する。エッジパターン整合部23から出力される相関
度データCORは、比較器51の一方の入力端子に印加
される。この比較器51の他方の入力端子には、以前の
状態での最大相関度Cmaxが入力され、局部動き検出
領域の探索を始める最初の時点では、リセットされた状
態を有している。すなわち、比較器51は、現在受信さ
れる相関度データCORと以前の最大相関度Cmaxと
を比較してレジスタ504に出力し、レジスタ504に
より、これがマルチプレクサ52の選択信号として印加
される。マルチプレクサ52は、レジスタ502から出
力される以前の最大相関度Cmaxを第1端子に受信
し、第2端子には、レジスタ501を介して現在の相関
度データCORを受信する。
明する。エッジパターン整合部23から出力される相関
度データCORは、比較器51の一方の入力端子に印加
される。この比較器51の他方の入力端子には、以前の
状態での最大相関度Cmaxが入力され、局部動き検出
領域の探索を始める最初の時点では、リセットされた状
態を有している。すなわち、比較器51は、現在受信さ
れる相関度データCORと以前の最大相関度Cmaxと
を比較してレジスタ504に出力し、レジスタ504に
より、これがマルチプレクサ52の選択信号として印加
される。マルチプレクサ52は、レジスタ502から出
力される以前の最大相関度Cmaxを第1端子に受信
し、第2端子には、レジスタ501を介して現在の相関
度データCORを受信する。
【0110】したがって、比較器51での比較結果が、
最大相関度Cmaxの値が現在の相関度データCORの
値より大きい場合を示すときには、その結果を示す第1
比較信号が出力され、これによってマルチプレクサ52
が、第1端子に受信される最大相関度Cmaxをそのま
ま選択するようになり、以前の最大相関度Cmaxが最
大相関度Cmaxとして維持される。一方、比較器51
での比較結果が、現在の相関度データCORの値が以前
の最大相関度Cmaxの値より大きい場合を示すときに
は、その結果を示す第2比較信号が出力され、これによ
ってマルチプレクサ52が、第2端子に受信される現在
の相関度データCORを最大相関度Cmaxとして選択
して出力する。この場合、最大相関度Cmaxが変更さ
れることになることが分かる。そして、レジスタ502
が、マルチプレクサ52から出力される最大相関度Cm
axを受信し貯蔵する。
最大相関度Cmaxの値が現在の相関度データCORの
値より大きい場合を示すときには、その結果を示す第1
比較信号が出力され、これによってマルチプレクサ52
が、第1端子に受信される最大相関度Cmaxをそのま
ま選択するようになり、以前の最大相関度Cmaxが最
大相関度Cmaxとして維持される。一方、比較器51
での比較結果が、現在の相関度データCORの値が以前
の最大相関度Cmaxの値より大きい場合を示すときに
は、その結果を示す第2比較信号が出力され、これによ
ってマルチプレクサ52が、第2端子に受信される現在
の相関度データCORを最大相関度Cmaxとして選択
して出力する。この場合、最大相関度Cmaxが変更さ
れることになることが分かる。そして、レジスタ502
が、マルチプレクサ52から出力される最大相関度Cm
axを受信し貯蔵する。
【0111】次に、第2最大相関度C2 ndの発生過程
を説明する。簡単に言えば、比較器51から出力される
比較結果信号の論理によって、第2最大相関度C2 nd
が決定される。すなわち、この比較結果信号を受信する
ANDゲート53は、第1比較信号の受信時、サンプリ
ングクロックSCKを遮断してレジスタ503の値をそ
のまま維持させる。これは、現在の受信された相関度デ
ータCORの値が、以前の最大相関度Cmaxの値より
小さい場合で、この場合には、以前の第2最大相関度C
2 ndをそのまま維持する。しかしながら、この最大相
関度Cmaxが変更され、レジスタ504から第2比較
信号が受信される場合には、ANDゲート53はサンプ
リングクロックSCKを出力するようになる。すると、
以前の最大相関度Cmaxを受信し、ANDゲート53
の出力をクロックとして受信するレジスタ503は、サ
ンプリングクロックSCKにより、以前の最大相関度C
maxを第2最大相関度C2 ndの値として貯蔵する。
したがって、最大相関度Cmaxの値が変更される時点
で、第2最大相関度C2 ndの値は変更時点の前に維持
されていた最大相関度Cmaxとなることが分かる。
を説明する。簡単に言えば、比較器51から出力される
比較結果信号の論理によって、第2最大相関度C2 nd
が決定される。すなわち、この比較結果信号を受信する
ANDゲート53は、第1比較信号の受信時、サンプリ
ングクロックSCKを遮断してレジスタ503の値をそ
のまま維持させる。これは、現在の受信された相関度デ
ータCORの値が、以前の最大相関度Cmaxの値より
小さい場合で、この場合には、以前の第2最大相関度C
2 ndをそのまま維持する。しかしながら、この最大相
関度Cmaxが変更され、レジスタ504から第2比較
信号が受信される場合には、ANDゲート53はサンプ
リングクロックSCKを出力するようになる。すると、
以前の最大相関度Cmaxを受信し、ANDゲート53
の出力をクロックとして受信するレジスタ503は、サ
ンプリングクロックSCKにより、以前の最大相関度C
maxを第2最大相関度C2 ndの値として貯蔵する。
したがって、最大相関度Cmaxの値が変更される時点
で、第2最大相関度C2 ndの値は変更時点の前に維持
されていた最大相関度Cmaxとなることが分かる。
【0112】次に、最大相関度差Cdifは、レジスタ
502から出力される最大相関度Cmaxの値とレジス
タ503から出力される第2最大相関度C2 ndの値と
を減算することで得られる。これは、減算器54で行わ
れる。
502から出力される最大相関度Cmaxの値とレジス
タ503から出力される第2最大相関度C2 ndの値と
を減算することで得られる。これは、減算器54で行わ
れる。
【0113】最後に、平均相関度Cavgは、受信され
る相関度データCORを加算した後に、所定の値で割っ
て得る。このとき、所定の値は、局部動き検出領域での
候補動きベクトルの数とする。このために、加算器56
は、レジスタ506に以前までに累積し貯蔵されている
相関度データCORの値に、エッジパターン整合部23
から受信される相関度データCORを加算し、レジスタ
506が、これを更に貯蔵する。そして、除算器57で
レジスタ506の出力を前記所定の値で割り、したがっ
て、除算器57から出力される値が平均相関度Cavg
となる。加算器56で加算された相関度データCORの
値は、再度レジスタ506に貯蔵され、次の状態に備え
る。
る相関度データCORを加算した後に、所定の値で割っ
て得る。このとき、所定の値は、局部動き検出領域での
候補動きベクトルの数とする。このために、加算器56
は、レジスタ506に以前までに累積し貯蔵されている
相関度データCORの値に、エッジパターン整合部23
から受信される相関度データCORを加算し、レジスタ
506が、これを更に貯蔵する。そして、除算器57で
レジスタ506の出力を前記所定の値で割り、したがっ
て、除算器57から出力される値が平均相関度Cavg
となる。加算器56で加算された相関度データCORの
値は、再度レジスタ506に貯蔵され、次の状態に備え
る。
【0114】以上のようにして発生されるCmax、C
2 nd、Cdif、Cavgが統計的変数となり、動き
ベクトル検出部55はこの統計的変数を基に該当する局
部動き検出領域で局部動きベクトルLMVを求める。こ
の局部動きベクトルLMVの検出過程を説明する。すな
わち、レジスタ504から出力される、現在の相関度デ
ータCORの値と以前の最大相関度Cmaxの値との比
較結果信号が、レジスタ505に印加され貯蔵される。
動きベクトル検出部55では、アドレスクロックを計数
して該当する相関度データCORの位置を計算する。こ
のアドレスクロックは、候補動きベクトル検出領域内で
の相関度のサンプリングクロックである。そして、動き
ベクトル検出部55は、レジスタ505から最大相関度
Cmaxの更新を知らせる第2比較信号が受信される
と、これを認知し、該当時点から計算される位置値を局
部動きベクトルLMVとして出力する。それにより、局
部動きベクトルLMVは、該当する局部動き検出領域で
最大相関度Cmaxを有するブロックの位置情報とな
る。
2 nd、Cdif、Cavgが統計的変数となり、動き
ベクトル検出部55はこの統計的変数を基に該当する局
部動き検出領域で局部動きベクトルLMVを求める。こ
の局部動きベクトルLMVの検出過程を説明する。すな
わち、レジスタ504から出力される、現在の相関度デ
ータCORの値と以前の最大相関度Cmaxの値との比
較結果信号が、レジスタ505に印加され貯蔵される。
動きベクトル検出部55では、アドレスクロックを計数
して該当する相関度データCORの位置を計算する。こ
のアドレスクロックは、候補動きベクトル検出領域内で
の相関度のサンプリングクロックである。そして、動き
ベクトル検出部55は、レジスタ505から最大相関度
Cmaxの更新を知らせる第2比較信号が受信される
と、これを認知し、該当時点から計算される位置値を局
部動きベクトルLMVとして出力する。それにより、局
部動きベクトルLMVは、該当する局部動き検出領域で
最大相関度Cmaxを有するブロックの位置情報とな
る。
【0115】したがって、局部動き判断部24は、受信
される相関度データCORの値を以前の最大相関度Cm
ax値と比較した後、以前の最大相関度Cmaxの値が
大きい場合には現在の状態をそのまま維持し、小さい場
合には、現在の相関度値を最大相関度Cmaxに変更す
ると同時に、以前の状態での最大相関度Cmaxの値を
第2最大相関度C2 ndに変更する。また、動きベクト
ル検出部55は、アドレスクロックを用いて現在のブロ
ックの位置を計算しており、最大相関度Cmaxの値が
更新されると、その瞬間の位置情報を局部動きベクトル
LMVとして出力する。これは、結果的に、最大相関度
Cmaxを有する相関度データCORの位置となること
が分かる。さらに、最大相関度Cmaxの値と第2最大
相関度C2 ndの値とを減算すると最大相関度差Cdi
fとなり、受信される相関度値を全部加算してから、候
補動きベクトルの数で割ると平均相関度Cavgを計算
できる。そして、局部動き判断部24は、図3に示すよ
うに、各局部動き検出領域の探索が終了される時点で発
生されるクリア信号SECLRによってリセットされ、
次の局部動き検出領域の局部動きベクトルLMV及び統
計的変数を検出するための用意をする。
される相関度データCORの値を以前の最大相関度Cm
ax値と比較した後、以前の最大相関度Cmaxの値が
大きい場合には現在の状態をそのまま維持し、小さい場
合には、現在の相関度値を最大相関度Cmaxに変更す
ると同時に、以前の状態での最大相関度Cmaxの値を
第2最大相関度C2 ndに変更する。また、動きベクト
ル検出部55は、アドレスクロックを用いて現在のブロ
ックの位置を計算しており、最大相関度Cmaxの値が
更新されると、その瞬間の位置情報を局部動きベクトル
LMVとして出力する。これは、結果的に、最大相関度
Cmaxを有する相関度データCORの位置となること
が分かる。さらに、最大相関度Cmaxの値と第2最大
相関度C2 ndの値とを減算すると最大相関度差Cdi
fとなり、受信される相関度値を全部加算してから、候
補動きベクトルの数で割ると平均相関度Cavgを計算
できる。そして、局部動き判断部24は、図3に示すよ
うに、各局部動き検出領域の探索が終了される時点で発
生されるクリア信号SECLRによってリセットされ、
次の局部動き検出領域の局部動きベクトルLMV及び統
計的変数を検出するための用意をする。
【0116】以上のようにして発生される局部動きベク
トルLMVは、信頼性に重大な影響を及ぼすことにな
る。局部動きベクトルLMVの正確性は、相関度の計算
ブロックの演算結果である候補動きベクトルの座標の
(i,j)だけ移動した相関度データCOR(i,j)
に従って変化するが、もし、相関度データCORが類似
する場合には、検出される局部動きベクトルLMVの信
頼性は、各局部動き検出領域の相関度データCORによ
って評価し、また、各フィールドを代表するフィールド
動きベクトルFMVは、信頼できる局部動き検出領域で
求められる局部動きベクトルLMVを選択して決定しな
ければならない。
トルLMVは、信頼性に重大な影響を及ぼすことにな
る。局部動きベクトルLMVの正確性は、相関度の計算
ブロックの演算結果である候補動きベクトルの座標の
(i,j)だけ移動した相関度データCOR(i,j)
に従って変化するが、もし、相関度データCORが類似
する場合には、検出される局部動きベクトルLMVの信
頼性は、各局部動き検出領域の相関度データCORによ
って評価し、また、各フィールドを代表するフィールド
動きベクトルFMVは、信頼できる局部動き検出領域で
求められる局部動きベクトルLMVを選択して決定しな
ければならない。
【0117】図8を参照して、フィールド動きベクトル
発生部12の動作を説明する。加重値発生部61は、受
信される局部動きベクトルLMV及び統計的変数を、各
局部動き検出領域単位で集めて貯蔵し、フィールド動き
ベクトルFMVを発生する時点で、該局部動きベクトル
LMVを順次に分析して加重値信号を発生し、局部動き
ベクトルLMVに対応する統計的変数を分析して、該当
局部動きベクトルLMVの信頼性を判断する。そして、
その信頼性に基づいて、加重値信号を該当する局部動き
ベクトルLMVに与えたり、あるいは、無視する。フィ
ールド動きベクトル決定部62は、この加重値信号を、
局部動きベクトルLMVと乗算した後、加算を行ってフ
ィールド動きベクトルFMVを発生する。
発生部12の動作を説明する。加重値発生部61は、受
信される局部動きベクトルLMV及び統計的変数を、各
局部動き検出領域単位で集めて貯蔵し、フィールド動き
ベクトルFMVを発生する時点で、該局部動きベクトル
LMVを順次に分析して加重値信号を発生し、局部動き
ベクトルLMVに対応する統計的変数を分析して、該当
局部動きベクトルLMVの信頼性を判断する。そして、
その信頼性に基づいて、加重値信号を該当する局部動き
ベクトルLMVに与えたり、あるいは、無視する。フィ
ールド動きベクトル決定部62は、この加重値信号を、
局部動きベクトルLMVと乗算した後、加算を行ってフ
ィールド動きベクトルFMVを発生する。
【0118】図9は、先のような映像データの不安定な
条件に対して適応的に加重値を発生する加重値発生部6
1の構成例を示し、図10は、不安定な条件の映像デー
タと相関度データCORとの間の特性を示す。また、図
11Aは、局部動きベクトルLMVの孤立度と孤立度加
重値との間の特性を示し、図11Bは、局部動きベクト
ルLMVの安定度と安定度加重値との間の特性を示す。
尚、これらの各例は、図3に示すように、4個の局部動
き検出領域から発生される局部動きベクトルLMVを利
用してフィールド動きベクトルFMVを発生すると仮定
したものである。
条件に対して適応的に加重値を発生する加重値発生部6
1の構成例を示し、図10は、不安定な条件の映像デー
タと相関度データCORとの間の特性を示す。また、図
11Aは、局部動きベクトルLMVの孤立度と孤立度加
重値との間の特性を示し、図11Bは、局部動きベクト
ルLMVの安定度と安定度加重値との間の特性を示す。
尚、これらの各例は、図3に示すように、4個の局部動
き検出領域から発生される局部動きベクトルLMVを利
用してフィールド動きベクトルFMVを発生すると仮定
したものである。
【0119】加重値発生部61に受信される局部動きベ
クトルLMV1〜LMV4及び統計的変数Cavg1〜
Cavg4、Cmax1〜Cmax4、C2 nd1〜C
2 nd4は、局部動き判断部24から順次に発生され
る。加重値発生部61は、このような順次に発生される
局部動きベクトルLMV及び統計的変数Cavg、Cm
ax、C2 ndを、発生時点で貯蔵しておき、フィール
ド動きベクトルFMVを発生する時点で、更に順次に処
理できなければならない。
クトルLMV1〜LMV4及び統計的変数Cavg1〜
Cavg4、Cmax1〜Cmax4、C2 nd1〜C
2 nd4は、局部動き判断部24から順次に発生され
る。加重値発生部61は、このような順次に発生される
局部動きベクトルLMV及び統計的変数Cavg、Cm
ax、C2 ndを、発生時点で貯蔵しておき、フィール
ド動きベクトルFMVを発生する時点で、更に順次に処
理できなければならない。
【0120】このために、局部動きベクトルLMV1〜
LMV4は、図5に示すサンプリングクロックMDCK
の発生時ごとに順次にレジスタ751〜754に貯蔵さ
れる。つまり、図3に示すように、局部動き検出領域の
探索が終了されサンプリングクロックMDCK4が発生
されると、レジスタ751には局部動きベクトルLMV
4、レジスタ752には局部動きベクトルLMV3、レ
ジスタ753には局部動きベクトルLMV2、そしてレ
ジスタ754には局部動きベクトルLMV1が、それぞ
れ貯蔵される。この状態で、LMVS1、LMVS0
が、図5に示すように、“00−01−10−11”の
順序で発生すると、第1選択器702が、局部動きベク
トルを“LMV1−LMV2−LMV3−LMV4”の
順序で発生する。
LMV4は、図5に示すサンプリングクロックMDCK
の発生時ごとに順次にレジスタ751〜754に貯蔵さ
れる。つまり、図3に示すように、局部動き検出領域の
探索が終了されサンプリングクロックMDCK4が発生
されると、レジスタ751には局部動きベクトルLMV
4、レジスタ752には局部動きベクトルLMV3、レ
ジスタ753には局部動きベクトルLMV2、そしてレ
ジスタ754には局部動きベクトルLMV1が、それぞ
れ貯蔵される。この状態で、LMVS1、LMVS0
が、図5に示すように、“00−01−10−11”の
順序で発生すると、第1選択器702が、局部動きベク
トルを“LMV1−LMV2−LMV3−LMV4”の
順序で発生する。
【0121】また、統計的変数も同様の方法で、“Ca
vg1−Cavg2−Cavg3−Cavg4”、“C
max1−Cmax2−Cmax3−Cmax4”、
“C2nd1−C2 nd2−C2 nd3−C2 nd4”
の順に発生される。したがって、同一の局部動き検出領
域から発生される局部動きベクトルLMV及び統計的変
数は、順次に発生されることが分かる。そして、局部動
きベクトルLMVは、加重値信号を発生するために使用
され、統計的変数は、対応する局部動きベクトルLMV
の信頼性を判断するための信号として使用される。
vg1−Cavg2−Cavg3−Cavg4”、“C
max1−Cmax2−Cmax3−Cmax4”、
“C2nd1−C2 nd2−C2 nd3−C2 nd4”
の順に発生される。したがって、同一の局部動き検出領
域から発生される局部動きベクトルLMV及び統計的変
数は、順次に発生されることが分かる。そして、局部動
きベクトルLMVは、加重値信号を発生するために使用
され、統計的変数は、対応する局部動きベクトルLMV
の信頼性を判断するための信号として使用される。
【0122】このように発生される局部動きベクトルL
MVの加重値信号を求める場合、孤立度と安定度を得
て、その得られた孤立度及び安定度を分析して、それぞ
れ加重値信号を発生する必要がある。次に、これについ
て説明する。
MVの加重値信号を求める場合、孤立度と安定度を得
て、その得られた孤立度及び安定度を分析して、それぞ
れ加重値信号を発生する必要がある。次に、これについ
て説明する。
【0123】第一に、孤立度(isolativity )は、局部
動きベクトルLMVと平均局部動きベクトルALMVの
差を意味する。減算器711は、局部動きベクトルLM
Vと平均局部動きベクトル発生部64から出力される平
均局部動きベクトルALMVとの差を計算して孤立度を
発生し、これを孤立度加重値コーディング部713に印
加する。すると、孤立度加重値コーディング部713
は、減算器711から受信される孤立度により、図11
Aに示すような特性で孤立度加重値を発生する。すなわ
ち、図11Aに示すように、孤立度が“0”のとき、孤
立度加重値は“1”の値となり、孤立度が増加すると孤
立度加重値は減少する。そして、孤立度が非常に大きい
値を有すると孤立度加重値は“0”の値となる。このよ
うに、孤立度加重値コーディング部713は、受信され
る孤立度を分析した後、図11Aに示すような孤立度に
対する特性曲線によって孤立度加重値を発生する。
動きベクトルLMVと平均局部動きベクトルALMVの
差を意味する。減算器711は、局部動きベクトルLM
Vと平均局部動きベクトル発生部64から出力される平
均局部動きベクトルALMVとの差を計算して孤立度を
発生し、これを孤立度加重値コーディング部713に印
加する。すると、孤立度加重値コーディング部713
は、減算器711から受信される孤立度により、図11
Aに示すような特性で孤立度加重値を発生する。すなわ
ち、図11Aに示すように、孤立度が“0”のとき、孤
立度加重値は“1”の値となり、孤立度が増加すると孤
立度加重値は減少する。そして、孤立度が非常に大きい
値を有すると孤立度加重値は“0”の値となる。このよ
うに、孤立度加重値コーディング部713は、受信され
る孤立度を分析した後、図11Aに示すような孤立度に
対する特性曲線によって孤立度加重値を発生する。
【0124】第二に、安定度(stability )は、局部動
きベクトルLMVと以前フィールド動きベクトルPFM
Vとの差を意味する。減算器712は、局部動きベクト
ルLMVと以前フィールド動きベクトルPFMVとの差
信号を発生して安定度を計算し、これを、安定度加重値
コーディング部714に印加する。すると、安定度加重
値コーディング部714は、減算器712から受信され
る安定度により、図11Bに示すような特性で安定度加
重値を発生する。すなわち、図11Bに示すように、安
定度が“0”のとき、安定度加重値は“1”の値とな
り、安定度が増加すると安定度加重値は減少して“0”
に近くなる。このように、安定度加重値コーディング部
714は、減算器712から受信される安定度を分析し
た後、図11Bに示すような安定度に対する特性曲線に
よって安定度加重値を発生する。
きベクトルLMVと以前フィールド動きベクトルPFM
Vとの差を意味する。減算器712は、局部動きベクト
ルLMVと以前フィールド動きベクトルPFMVとの差
信号を発生して安定度を計算し、これを、安定度加重値
コーディング部714に印加する。すると、安定度加重
値コーディング部714は、減算器712から受信され
る安定度により、図11Bに示すような特性で安定度加
重値を発生する。すなわち、図11Bに示すように、安
定度が“0”のとき、安定度加重値は“1”の値とな
り、安定度が増加すると安定度加重値は減少して“0”
に近くなる。このように、安定度加重値コーディング部
714は、減算器712から受信される安定度を分析し
た後、図11Bに示すような安定度に対する特性曲線に
よって安定度加重値を発生する。
【0125】このようにして発生される孤立度加重値及
び安定度加重値は、加算器715で加算され、除算器7
16が、加算された孤立度及び安定度の加重値を“1/
2”に割って平均化した加重値信号Wを発生する。そし
て、除算器716の出力は、孤立度加重値と安定度加重
値の平均値となり、レジスタ717に、該当する局部動
き検出領域で検出される局部動きベクトルLMVの加重
値信号Wとして印加される。このような加重値信号W
は、第1選択器702で局部動きベクトルLMVが順次
に発生されるので、それぞれ対応する局部動きベクトル
LMVに応じて順次発生されることが分かる。
び安定度加重値は、加算器715で加算され、除算器7
16が、加算された孤立度及び安定度の加重値を“1/
2”に割って平均化した加重値信号Wを発生する。そし
て、除算器716の出力は、孤立度加重値と安定度加重
値の平均値となり、レジスタ717に、該当する局部動
き検出領域で検出される局部動きベクトルLMVの加重
値信号Wとして印加される。このような加重値信号W
は、第1選択器702で局部動きベクトルLMVが順次
に発生されるので、それぞれ対応する局部動きベクトル
LMVに応じて順次発生されることが分かる。
【0126】上記の統計的変数を用い、映像データの信
頼性を判断する条件を次に説明する。前述のように、映
像データの不安定な条件は、低いコントラストを有する
映像の場合、反復的な映像形態を有する映像の場合、動
く物体を有する映像の場合等に分けることができる。
頼性を判断する条件を次に説明する。前述のように、映
像データの不安定な条件は、低いコントラストを有する
映像の場合、反復的な映像形態を有する映像の場合、動
く物体を有する映像の場合等に分けることができる。
【0127】第一に、低いコントラストを有する映像の
場合には、全体的な二つのフィールド間の差分に該当す
る相関度の平均値は減少し、高い相関度データCORを
有する座標が増加するので、検出された局部動きベクト
ルLMVの正確度は低下する。この現象は、ろ波後の全
体解像度(full resolution )のデータを用いる局部動
きベクトル発生部11で顕著に現われる。上述のよう
に、2進エッジデータを用いる局部動きベクトル発生部
11では、所定の窓によるサブブロックの状態によって
エッジを検出するので、低いコントラスト映像でも所望
の高信頼性を得られるようになるが、一定のレベル以下
までコントラストが低下する場合には、エッジポイント
(edge point)が減少して、やはり信頼性が低下してし
まう。画面上では全体的に正常なコントラストを有する
映像であっても、局部動きを検出する領域が一定の輝度
(intensity )を有する物体の場合、この領域は低いコ
ントラストを有することもあるので、一般的な被写体の
撮影時、これについての対応が必要である。
場合には、全体的な二つのフィールド間の差分に該当す
る相関度の平均値は減少し、高い相関度データCORを
有する座標が増加するので、検出された局部動きベクト
ルLMVの正確度は低下する。この現象は、ろ波後の全
体解像度(full resolution )のデータを用いる局部動
きベクトル発生部11で顕著に現われる。上述のよう
に、2進エッジデータを用いる局部動きベクトル発生部
11では、所定の窓によるサブブロックの状態によって
エッジを検出するので、低いコントラスト映像でも所望
の高信頼性を得られるようになるが、一定のレベル以下
までコントラストが低下する場合には、エッジポイント
(edge point)が減少して、やはり信頼性が低下してし
まう。画面上では全体的に正常なコントラストを有する
映像であっても、局部動きを検出する領域が一定の輝度
(intensity )を有する物体の場合、この領域は低いコ
ントラストを有することもあるので、一般的な被写体の
撮影時、これについての対応が必要である。
【0128】図10は、相関度の特性に関する図であ
る。i,jだけ移動された位置での相関度が一番高い場
合に、相関度データCOR(i,j)によって局部動き
ベクトルLMVが検出されるが、そのとき、映像が正常
なコントラストを有する場合には、8aで示すように相
関度の範囲が大きくなる。一方、低いコントラストで
は、8bで示すように、映像データの信号対雑音比(S
/N比)が小さくなって相関的な平均値が減少するの
で、検出される動きベクトルの正確性は低下する。この
ような低いコントラストに適応するためには、平均相関
度Cavgをパラメータとして使用し、一定のしきい値
以下の場合には、該当する領域で得られる局部動きベク
トルLMVを使用しないようにする。
る。i,jだけ移動された位置での相関度が一番高い場
合に、相関度データCOR(i,j)によって局部動き
ベクトルLMVが検出されるが、そのとき、映像が正常
なコントラストを有する場合には、8aで示すように相
関度の範囲が大きくなる。一方、低いコントラストで
は、8bで示すように、映像データの信号対雑音比(S
/N比)が小さくなって相関的な平均値が減少するの
で、検出される動きベクトルの正確性は低下する。この
ような低いコントラストに適応するためには、平均相関
度Cavgをパラメータとして使用し、一定のしきい値
以下の場合には、該当する領域で得られる局部動きベク
トルLMVを使用しないようにする。
【0129】このような映像状態を識別するための条件
式は、“平均相関度Cavg<第1しきい値REF1”
となる。この条件式で、平均相関度Cavgは整合され
たエッジの平均個数であり、第1しきい値REF1は、
実験的に8ポイント以上で所望の動きベクトルを得るこ
とができる。したがって、受信される映像データが低い
コントラストを有するか否かを判断するために、比較器
723は、一方の入力端に第2選択器704から出力さ
れる平均相関度Cavgを受信し、他方の入力端に第1
しきい値REF1を受信して比較する。そして、平均相
関度Cavgが第1しきい値REF1より大きいと、受
信される映像データのコントラストが正常であるとみな
し、それを示す正常信号を出力する。反対に、平均相関
度Cavgが第1しきい値REF1より小さいと、受信
される映像データのコントラストが非正常であるとみな
し、それを示す非正常信号を出力する。
式は、“平均相関度Cavg<第1しきい値REF1”
となる。この条件式で、平均相関度Cavgは整合され
たエッジの平均個数であり、第1しきい値REF1は、
実験的に8ポイント以上で所望の動きベクトルを得るこ
とができる。したがって、受信される映像データが低い
コントラストを有するか否かを判断するために、比較器
723は、一方の入力端に第2選択器704から出力さ
れる平均相関度Cavgを受信し、他方の入力端に第1
しきい値REF1を受信して比較する。そして、平均相
関度Cavgが第1しきい値REF1より大きいと、受
信される映像データのコントラストが正常であるとみな
し、それを示す正常信号を出力する。反対に、平均相関
度Cavgが第1しきい値REF1より小さいと、受信
される映像データのコントラストが非正常であるとみな
し、それを示す非正常信号を出力する。
【0130】第二に、画面に動く物体が存在する場合を
説明する。一般的な映像データは、画面中に動く物体が
存在するものであるが、動く物体が局部動き検出領域内
にあると、該当する局部動き検出領域での局部動きベク
トルLMVは、手振れによる動きとは全く異なるように
検出される。したがって、局部動き検出領域内に動く物
体が存在するか否かを判断し、動く物体があれば、該当
する局部動き検出領域で検出した局部動きベクトルLM
Vを無視しなければならない。
説明する。一般的な映像データは、画面中に動く物体が
存在するものであるが、動く物体が局部動き検出領域内
にあると、該当する局部動き検出領域での局部動きベク
トルLMVは、手振れによる動きとは全く異なるように
検出される。したがって、局部動き検出領域内に動く物
体が存在するか否かを判断し、動く物体があれば、該当
する局部動き検出領域で検出した局部動きベクトルLM
Vを無視しなければならない。
【0131】局部動き検出領域内に動く物体の存在を判
断するための条件式は、“最大相関度Cmax−平均相
関度Cavg<第2しきい値REF2”となる。この条
件式で、平均相関度Cavgは、局部動き検出領域内の
全ての候補動きベクトルの相関度平均値を表し、第2し
きい値REF2は、動く物体を判断するためのしきい値
となる。映像データの中に動く物体が発生すれば、8d
で示すように、以前フィールドとの正確な整合が不可能
になるので、最大相関度Cmaxが相対的に減少するこ
とになる。
断するための条件式は、“最大相関度Cmax−平均相
関度Cavg<第2しきい値REF2”となる。この条
件式で、平均相関度Cavgは、局部動き検出領域内の
全ての候補動きベクトルの相関度平均値を表し、第2し
きい値REF2は、動く物体を判断するためのしきい値
となる。映像データの中に動く物体が発生すれば、8d
で示すように、以前フィールドとの正確な整合が不可能
になるので、最大相関度Cmaxが相対的に減少するこ
とになる。
【0132】このようにして映像データ中に動く物体が
あるか否かを確認するために、減算器721を通じて、
最大相関度Cmaxから平均相関度Cavgを減算し、
その差分を求める。そして、比較器724で、一方の入
力端に減算器721の出力を入力し、他方の入力端に第
2しきい値REF2を入力して比較する。このとき、最
大相関度Cmaxと平均相関度Cavgとの差異値が、
第2しきい値REF2より大きいと、受信される映像デ
ータに動く物体がないとみなし、比較器724は正常信
号を出力する。反対に、最大相関度Cmaxと平均相関
度Cavgとの差異値が第2しきい値REF2より小さ
い場合には、受信される映像データに動く物体が存在す
るとみなし、比較器724は非正常信号を出力する。
あるか否かを確認するために、減算器721を通じて、
最大相関度Cmaxから平均相関度Cavgを減算し、
その差分を求める。そして、比較器724で、一方の入
力端に減算器721の出力を入力し、他方の入力端に第
2しきい値REF2を入力して比較する。このとき、最
大相関度Cmaxと平均相関度Cavgとの差異値が、
第2しきい値REF2より大きいと、受信される映像デ
ータに動く物体がないとみなし、比較器724は正常信
号を出力する。反対に、最大相関度Cmaxと平均相関
度Cavgとの差異値が第2しきい値REF2より小さ
い場合には、受信される映像データに動く物体が存在す
るとみなし、比較器724は非正常信号を出力する。
【0133】第三に、反復的な映像形態を有する映像の
場合を説明する。映像データの中には、しま模様(stri
pe)などのように一定の形態が繰り返されるデータが含
まれる場合もある。このような反復形態を有する映像が
局部動き検出領域内にある場合、ブロック単位の2進エ
ッジデータを整合させて動きを検出すると、パターンの
重なり部分が発生し、多数の最大相関度Cmaxをもつ
ようになり、それによって、該当する局部動き検出領域
で検出される局部動きベクトルLMVの正確度が低下す
る。したがって、反復的な形態で検出される局部動きベ
クトルLMVは無視しなければならない。
場合を説明する。映像データの中には、しま模様(stri
pe)などのように一定の形態が繰り返されるデータが含
まれる場合もある。このような反復形態を有する映像が
局部動き検出領域内にある場合、ブロック単位の2進エ
ッジデータを整合させて動きを検出すると、パターンの
重なり部分が発生し、多数の最大相関度Cmaxをもつ
ようになり、それによって、該当する局部動き検出領域
で検出される局部動きベクトルLMVの正確度が低下す
る。したがって、反復的な形態で検出される局部動きベ
クトルLMVは無視しなければならない。
【0134】こうした状態を判断するためのパラメータ
を用いた条件式は、“最大相関度Cmax−第2最大相
関度C2 nd<第3しきい値REF3”となる。この条
件式で、最大相関度Cmaxは、局部動きベクトル発生
部11で整合されたエッジの個数の最大値であり、第2
最大相関度C2 ndは2番目に高い相関度を表す。そし
て、第3しきい値REF3は、動く物体を判断するため
のしきい値であり、低いコントラストの映像でも、この
ような条件式による結果は小さくなるため、反復的な映
像形態と低いコントラストの識別を同時にすることがで
きる。
を用いた条件式は、“最大相関度Cmax−第2最大相
関度C2 nd<第3しきい値REF3”となる。この条
件式で、最大相関度Cmaxは、局部動きベクトル発生
部11で整合されたエッジの個数の最大値であり、第2
最大相関度C2 ndは2番目に高い相関度を表す。そし
て、第3しきい値REF3は、動く物体を判断するため
のしきい値であり、低いコントラストの映像でも、この
ような条件式による結果は小さくなるため、反復的な映
像形態と低いコントラストの識別を同時にすることがで
きる。
【0135】反復的な形態の映像では、8cで示すよう
に相関度の差分が緩慢となる。このような反復的な映像
の存在有無を判断するために、減算器722は、最大相
関度Cmaxから第2最大相関度C2 ndを減算し、そ
の差分信号を発生する。そして、比較器725が、比較
入力端に減算器722の出力を受信し、基準入力端に第
3しきい値REF3を受信して、二つの信号を比較す
る。このとき、最大相関度Cmaxと第2最大相関度C
2 ndとの差異値が、第3しきい値REF3より大きい
と、受信される映像データは反復的な映像形態を有しな
いものとみなし、比較器725は正常信号を出力する。
反対に、最大相関度Cmaxと第2最大相関度C2 nd
の差異値が、第3しきい値REF3より小さい場合に
は、受信される映像データに反復的な映像形態が存在す
るものとみなし、比較器725は非正常信号を出力す
る。
に相関度の差分が緩慢となる。このような反復的な映像
の存在有無を判断するために、減算器722は、最大相
関度Cmaxから第2最大相関度C2 ndを減算し、そ
の差分信号を発生する。そして、比較器725が、比較
入力端に減算器722の出力を受信し、基準入力端に第
3しきい値REF3を受信して、二つの信号を比較す
る。このとき、最大相関度Cmaxと第2最大相関度C
2 ndとの差異値が、第3しきい値REF3より大きい
と、受信される映像データは反復的な映像形態を有しな
いものとみなし、比較器725は正常信号を出力する。
反対に、最大相関度Cmaxと第2最大相関度C2 nd
の差異値が、第3しきい値REF3より小さい場合に
は、受信される映像データに反復的な映像形態が存在す
るものとみなし、比較器725は非正常信号を出力す
る。
【0136】以上のようにして、受信される映像データ
の状態を分析し、局部動きベクトルLMVの信頼性を判
断し、信頼性の高低によって局部動きベクトルLMVの
加重値の出力を制御する。すなわち、比較器723〜7
25の出力を論理乗するANDゲート726の出力が、
該当する局部動きベクトルLMVの加重値を出力するレ
ジスタ717の制御信号として印加されるので、比較器
723〜725のうちのいずれか一つでも非正常信号を
出力すると、ANDゲート726により、レジスタ71
7は発生した加重値を出力できなくなる。一方、信頼性
のある局部動きベクトルLMVの場合には、比較器72
3〜725が全部正常信号を出力し、この場合にはAN
Dゲート726から正常信号が出力される。それによ
り、レジスタ717は、図5に示すクロックWTCKに
より、順次に発生する局部動きベクトルLMVの加重値
信号Wを出力するようになる。すなわち、レジスタ71
7は、局部動きベクトルLMVの信頼性に応じて、対応
する加重値を出力したり、無視するようにされている。
の状態を分析し、局部動きベクトルLMVの信頼性を判
断し、信頼性の高低によって局部動きベクトルLMVの
加重値の出力を制御する。すなわち、比較器723〜7
25の出力を論理乗するANDゲート726の出力が、
該当する局部動きベクトルLMVの加重値を出力するレ
ジスタ717の制御信号として印加されるので、比較器
723〜725のうちのいずれか一つでも非正常信号を
出力すると、ANDゲート726により、レジスタ71
7は発生した加重値を出力できなくなる。一方、信頼性
のある局部動きベクトルLMVの場合には、比較器72
3〜725が全部正常信号を出力し、この場合にはAN
Dゲート726から正常信号が出力される。それによ
り、レジスタ717は、図5に示すクロックWTCKに
より、順次に発生する局部動きベクトルLMVの加重値
信号Wを出力するようになる。すなわち、レジスタ71
7は、局部動きベクトルLMVの信頼性に応じて、対応
する加重値を出力したり、無視するようにされている。
【0137】上述の3つの条件式は、相関度により、不
規則な映像環境に適応的に対処して、局部動きベクトル
LMVの加重値を決定するためのものである。したがっ
て、各局部動き検出領域で適用され、いずれか一つの局
部動き検出領域がこの条件を満足していると、該当する
局部動き検出領域で求められた局部動きベクトルLMV
の信頼性を考慮して、フィールド動きベクトルFMVの
決定から除く。それにより、フィールド動きベクトルF
MVの一番基本的な処理は、信頼性のある局部動きベク
トルLMVの平均によって得られる。結果的に、信頼性
の低い局部動きベクトルLMVは無視され、選択された
局部動きベクトルLMVだけを使用して高信頼性のフィ
ールド動きベクトルFMVを求めることができる。
規則な映像環境に適応的に対処して、局部動きベクトル
LMVの加重値を決定するためのものである。したがっ
て、各局部動き検出領域で適用され、いずれか一つの局
部動き検出領域がこの条件を満足していると、該当する
局部動き検出領域で求められた局部動きベクトルLMV
の信頼性を考慮して、フィールド動きベクトルFMVの
決定から除く。それにより、フィールド動きベクトルF
MVの一番基本的な処理は、信頼性のある局部動きベク
トルLMVの平均によって得られる。結果的に、信頼性
の低い局部動きベクトルLMVは無視され、選択された
局部動きベクトルLMVだけを使用して高信頼性のフィ
ールド動きベクトルFMVを求めることができる。
【0138】しかしながら、信頼性のある局部動きベク
トルLMVを平均化する場合に、二つのフィールド間の
相関度による偏狹的な局部動きベクトルLMVを用いた
り、又は、信頼性のある局部動き検出領域であっても、
類似性が不適当な局部動きベクトルLMVを利用したり
すると、全体的にフィールド動きベクトルFMVの正確
性を失うことになるという問題点が生じる。この問題点
を解消するために、検出された局部動きベクトルLMV
の孤立度及び安定度を計算し、その計算された孤立度及
び安定度に対応する局部動きベクトルLMVの加重値を
決定する。このような場合、信頼性のある局部動きベク
トルLMVが適用されるので正確なフィールド動きベク
トルFMVを決定できるようになる。
トルLMVを平均化する場合に、二つのフィールド間の
相関度による偏狹的な局部動きベクトルLMVを用いた
り、又は、信頼性のある局部動き検出領域であっても、
類似性が不適当な局部動きベクトルLMVを利用したり
すると、全体的にフィールド動きベクトルFMVの正確
性を失うことになるという問題点が生じる。この問題点
を解消するために、検出された局部動きベクトルLMV
の孤立度及び安定度を計算し、その計算された孤立度及
び安定度に対応する局部動きベクトルLMVの加重値を
決定する。このような場合、信頼性のある局部動きベク
トルLMVが適用されるので正確なフィールド動きベク
トルFMVを決定できるようになる。
【0139】上記のようにして発生される多数の局部動
きベクトルLMVに対する加重値信号Wを平均化して、
フィールド動きベクトルFMVを発生しなければならな
い。図12は、そのためのフィールド動きベクトル決定
部62の構成例を示す。
きベクトルLMVに対する加重値信号Wを平均化して、
フィールド動きベクトルFMVを発生しなければならな
い。図12は、そのためのフィールド動きベクトル決定
部62の構成例を示す。
【0140】乗算器101は、局部動きベクトルLMV
及び対応する加重値信号Wを受信して互いに乗じるの
で、W1×LMV1、W2×LMV2、W3×LMV
3、W4×LMV4を順次に出力する。そして、加算器
102が、乗算器101の出力を順次加算する。したが
って、加算器102は、W1×LMV1+W2×LMV
2+W3×LMV3+W4×LMV4を発生する。ま
た、加算器103は、前記レジスタ717から出力され
る加重値信号Wを加算して出力する。したがって、加算
器103は、W1+W2+W3+W4を出力する。除算
器104は、加算器103の出力を除数SBとして、加
算器102の出力を被除数SAとしてそれぞれ受信し
て、除算動作を行う。それにより、該除算器104が出
力する信号は、W1×LMV1+W2×LMV2+W3
×LMV3+W4×LMV4/W1+W2+W3+W4
である。
及び対応する加重値信号Wを受信して互いに乗じるの
で、W1×LMV1、W2×LMV2、W3×LMV
3、W4×LMV4を順次に出力する。そして、加算器
102が、乗算器101の出力を順次加算する。したが
って、加算器102は、W1×LMV1+W2×LMV
2+W3×LMV3+W4×LMV4を発生する。ま
た、加算器103は、前記レジスタ717から出力され
る加重値信号Wを加算して出力する。したがって、加算
器103は、W1+W2+W3+W4を出力する。除算
器104は、加算器103の出力を除数SBとして、加
算器102の出力を被除数SAとしてそれぞれ受信し
て、除算動作を行う。それにより、該除算器104が出
力する信号は、W1×LMV1+W2×LMV2+W3
×LMV3+W4×LMV4/W1+W2+W3+W4
である。
【0141】このとき、ある局部動きベクトルLMVの
信頼性に問題があって、当該加重値信号Wが“0”の値
をもっていると、加算器103は、該当する局部動きベ
クトルLMVに対応する除数を発生できなくなる。した
がって、加算器103は、加重値信号Wのうち、安定し
た映像から検出された局部動きベクトルLMVの検出回
数の信号を発生するようになることが分かる。すなわ
ち、フィールド動きベクトルFMVの発生時に、信頼性
のない局部動きベクトルLMVがあれば、フィールド動
きベクトル決定部62は、該当する局部動きベクトルL
MVの加重値を計算しないようになっている。最終的
に、除算器104の出力信号が、フィールド動きベクト
ルFMVとなる。
信頼性に問題があって、当該加重値信号Wが“0”の値
をもっていると、加算器103は、該当する局部動きベ
クトルLMVに対応する除数を発生できなくなる。した
がって、加算器103は、加重値信号Wのうち、安定し
た映像から検出された局部動きベクトルLMVの検出回
数の信号を発生するようになることが分かる。すなわ
ち、フィールド動きベクトルFMVの発生時に、信頼性
のない局部動きベクトルLMVがあれば、フィールド動
きベクトル決定部62は、該当する局部動きベクトルL
MVの加重値を計算しないようになっている。最終的
に、除算器104の出力信号が、フィールド動きベクト
ルFMVとなる。
【0142】このように、連鎖的な二つのフィールド間
の比較によりフィールド動きベクトルFMVを決定する
と、カメラの使用者が、意図的なパン(Panning,center
ing,tilt)を目的として被写体を撮影する場合でも、手
振れと認識して補正を行う。このような補正をする場
合、ズーム処理される画面の映像データは、最大動きベ
クトル補正領域を超過する度に、映像が断絶される現象
が現れるようになる。そこで、使用者の手振れの特性を
考慮して、映像の断絶現象を除去できるように映像を安
定化させなければならない。
の比較によりフィールド動きベクトルFMVを決定する
と、カメラの使用者が、意図的なパン(Panning,center
ing,tilt)を目的として被写体を撮影する場合でも、手
振れと認識して補正を行う。このような補正をする場
合、ズーム処理される画面の映像データは、最大動きベ
クトル補正領域を超過する度に、映像が断絶される現象
が現れるようになる。そこで、使用者の手振れの特性を
考慮して、映像の断絶現象を除去できるように映像を安
定化させなければならない。
【0143】局部動きベクトル発生部11から検出され
る局部動きベクトルLMVは、連続的なフィールドの2
次元的な動きを表現するもので、このような動きベクト
ルにより映像動き成分を取り除くことは、最初の動き方
向からフィールド動きベクトルFMVを継続して追跡す
る過程により、安定した出力を得ることができる。した
がって、意図的なパンをする場合にも、動きベクトルの
補正領域内では停止した映像が現れるようになる。この
ような停止映像を除去するためには、カメラのパン動作
時における最初の方向に動きが継続する映像を得なけれ
ばならない。
る局部動きベクトルLMVは、連続的なフィールドの2
次元的な動きを表現するもので、このような動きベクト
ルにより映像動き成分を取り除くことは、最初の動き方
向からフィールド動きベクトルFMVを継続して追跡す
る過程により、安定した出力を得ることができる。した
がって、意図的なパンをする場合にも、動きベクトルの
補正領域内では停止した映像が現れるようになる。この
ような停止映像を除去するためには、カメラのパン動作
時における最初の方向に動きが継続する映像を得なけれ
ばならない。
【0144】この累積形態は、一定の係数を有する“X
(n+1)=K・X(n)+V(n)”のような線形方
程式の形態で具現すれば可能である。この方程式で、X
(n+1)は現在のフィールドでの累積動きベクトルA
MVで、X(n)は、以前フィールドでの累積動きベク
トルAMVで、V(n)は、フィールド動きベクトルF
MVで、Kは、“0”より大きく“1”より小さい減衰
係数を表す。
(n+1)=K・X(n)+V(n)”のような線形方
程式の形態で具現すれば可能である。この方程式で、X
(n+1)は現在のフィールドでの累積動きベクトルA
MVで、X(n)は、以前フィールドでの累積動きベク
トルAMVで、V(n)は、フィールド動きベクトルF
MVで、Kは、“0”より大きく“1”より小さい減衰
係数を表す。
【0145】減衰係数Kは、映像の動き補正減衰の量及
びパニング動作中の応答特性を決定する重要な因子であ
る。減衰係数Kが大きければ大きいほど、手振れ補正に
必要な累積動きベクトルAMVの誤り率は減少する反
面、パンに対する応答特性が悪くなり、不自然に断絶さ
れる映像が現れるようになる。一方、減衰係数Kが小さ
いと、累積誤り率が急増するようになり、手振れ補正の
機能が低下するが、パニングに対する応答特性は向上す
る。こうした相反関係の特性を考慮して、満足な減衰係
数Kの値を得るために、カメラの振動周波数と累積動き
ベクトルAMVの誤り率の関係を実験的に測定して決定
する。
びパニング動作中の応答特性を決定する重要な因子であ
る。減衰係数Kが大きければ大きいほど、手振れ補正に
必要な累積動きベクトルAMVの誤り率は減少する反
面、パンに対する応答特性が悪くなり、不自然に断絶さ
れる映像が現れるようになる。一方、減衰係数Kが小さ
いと、累積誤り率が急増するようになり、手振れ補正の
機能が低下するが、パニングに対する応答特性は向上す
る。こうした相反関係の特性を考慮して、満足な減衰係
数Kの値を得るために、カメラの振動周波数と累積動き
ベクトルAMVの誤り率の関係を実験的に測定して決定
する。
【0146】本発明の実施例では、実験結果を参考とし
て、手振れの周波数である2〜10Hzで95%以上の
振れ補正特性を得られるように、減衰係数を0.995
に決定した(以下、第1減衰係数K1という)。さら
に、パン特性を向上させるために、手振れ周波数以上で
は減衰係数を0.97とした(以下、第2減衰係数K2
という)。そして、意図的なパンの有無及び動きベクト
ルの補正領域の有無を判断して、減衰係数K1、K2を
切り換えて用いる。したがって、累積動きベクトルAM
Vは、カメラが停止している場合、上記方程式に従って
“0”に 収斂するようになる。また、最初の動きベク
トルが発生したときの減衰係数は0.995の第1減衰
係数K1とし、手振れ周波数により3〜10フレーム以
上の同一方向の動きベクトルが発生する場合には、パン
動作と認識して、減衰係数を0.97の第2減衰係数K
2とする。さらに、動きベクトルの補正領域内に存在す
る場合には第1減衰係数K1とし、補正領域を超過する
場合には第2減衰係数K2とする。
て、手振れの周波数である2〜10Hzで95%以上の
振れ補正特性を得られるように、減衰係数を0.995
に決定した(以下、第1減衰係数K1という)。さら
に、パン特性を向上させるために、手振れ周波数以上で
は減衰係数を0.97とした(以下、第2減衰係数K2
という)。そして、意図的なパンの有無及び動きベクト
ルの補正領域の有無を判断して、減衰係数K1、K2を
切り換えて用いる。したがって、累積動きベクトルAM
Vは、カメラが停止している場合、上記方程式に従って
“0”に 収斂するようになる。また、最初の動きベク
トルが発生したときの減衰係数は0.995の第1減衰
係数K1とし、手振れ周波数により3〜10フレーム以
上の同一方向の動きベクトルが発生する場合には、パン
動作と認識して、減衰係数を0.97の第2減衰係数K
2とする。さらに、動きベクトルの補正領域内に存在す
る場合には第1減衰係数K1とし、補正領域を超過する
場合には第2減衰係数K2とする。
【0147】最初の撮像方向から補正できる手振れの量
を示す累積動きベクトルAMVの上限は、ディジタルズ
ーム割合(digital zooming ratio )によって決定され
るが、このズーム割合を大きくする場合には、解像度が
低下するので、通常1.5倍以下に処理する。そして、
パンにより累積動きベクトルAMVの上限値を超過する
ようになると、リセット過程を遂行するが、これは、映
像の切断結果をもたらして目障りになるので、上限値を
用いて累積動きベクトルAMVのリミッティング(limi
ting)処理をする。このとき、手振れの量がリミット状
態にあると、再度減衰係数を、手振れ補正モードである
0.995の第1減衰係数K1に変換しなければならな
い。
を示す累積動きベクトルAMVの上限は、ディジタルズ
ーム割合(digital zooming ratio )によって決定され
るが、このズーム割合を大きくする場合には、解像度が
低下するので、通常1.5倍以下に処理する。そして、
パンにより累積動きベクトルAMVの上限値を超過する
ようになると、リセット過程を遂行するが、これは、映
像の切断結果をもたらして目障りになるので、上限値を
用いて累積動きベクトルAMVのリミッティング(limi
ting)処理をする。このとき、手振れの量がリミット状
態にあると、再度減衰係数を、手振れ補正モードである
0.995の第1減衰係数K1に変換しなければならな
い。
【0148】図13は、手振れ特性によりパンを補償す
る累積動きベクトル発生部13の構成例を示す。また、
図14Aは、パン識別信号PIDの発生を示すタイミン
グ図で、図14Bは、累積動きベクトルAMVと最大動
きベクトル補正領域間の関係を示し、図14Cは、図1
4Bに示す状態で減衰係数K1及びK2の切り換えがな
され、手振れが補正される過程を示す。これら各図面に
基づいて、パン効果を抑制する過程を説明する。
る累積動きベクトル発生部13の構成例を示す。また、
図14Aは、パン識別信号PIDの発生を示すタイミン
グ図で、図14Bは、累積動きベクトルAMVと最大動
きベクトル補正領域間の関係を示し、図14Cは、図1
4Bに示す状態で減衰係数K1及びK2の切り換えがな
され、手振れが補正される過程を示す。これら各図面に
基づいて、パン効果を抑制する過程を説明する。
【0149】パン識別部111は、フィールド動きベク
トルFMVを受信して、現在パンが発生しているか否か
を検査し、パンと検出されるとパン識別信号PIDを発
生する。すなわち、パン識別部111は、受信されるフ
ィールド動きベクトルFMVの状態を分析して、所定の
フレーム以上の同一方向にフィールド動きベクトルFM
Vが発生していると、パンの発生を意味するパン識別信
号PIDを出力し、あるいは、手振れとみなして第1減
衰係数K1を選択するための信号を発生する。このと
き、パン識別のためのフレーム数は10フレームとみな
す。
トルFMVを受信して、現在パンが発生しているか否か
を検査し、パンと検出されるとパン識別信号PIDを発
生する。すなわち、パン識別部111は、受信されるフ
ィールド動きベクトルFMVの状態を分析して、所定の
フレーム以上の同一方向にフィールド動きベクトルFM
Vが発生していると、パンの発生を意味するパン識別信
号PIDを出力し、あるいは、手振れとみなして第1減
衰係数K1を選択するための信号を発生する。このと
き、パン識別のためのフレーム数は10フレームとみな
す。
【0150】パン識別部111の出力を選択信号として
受信するマルチプレクサ118は、第1減衰器116の
出力を第1端子に受信し、第2減衰器117の出力を第
2端子に受信する。ここで、第1減衰器116は、受信
される累積動きベクトルAMVを第1減衰係数K1で減
衰させ、第2減衰器117は、累積動きベクトルAMV
を第2減衰係数K2で減衰させる。したがって、マルチ
プレクサ118は、パン識別部111の出力状態によっ
て、減衰器116、117の出力を選択するようになっ
ている。
受信するマルチプレクサ118は、第1減衰器116の
出力を第1端子に受信し、第2減衰器117の出力を第
2端子に受信する。ここで、第1減衰器116は、受信
される累積動きベクトルAMVを第1減衰係数K1で減
衰させ、第2減衰器117は、累積動きベクトルAMV
を第2減衰係数K2で減衰させる。したがって、マルチ
プレクサ118は、パン識別部111の出力状態によっ
て、減衰器116、117の出力を選択するようになっ
ている。
【0151】パン識別信号PIDが発生すると、マルチ
プレクサ118は、第2減衰係数K2で減衰した累積動
きベクトルAMVを出力する第2減衰器117の出力を
選択し、パン識別信号PIDが発生しないと、第1減衰
係数K1で減衰した累積動きベクトルAMVを出力する
第1減衰器116の出力を選択する。第1減衰器116
は、0.995の第1減衰係数K1を利用して、受信さ
れる累積動きベクトルAMVを減衰した後、マルチプレ
クサ118の第1端子に印加し、第2減衰器117は、
0.97の第2減衰係数K2を用いて、受信される累積
動きベクトルAMVを減衰した後、マルチプレクサ11
8の第2端子に印加する。それにより、マルチプレクサ
118は、パン識別部111の出力により、対応する減
衰係数で減衰した累積動きベクトルAMVを選択して加
算器113に印加する。
プレクサ118は、第2減衰係数K2で減衰した累積動
きベクトルAMVを出力する第2減衰器117の出力を
選択し、パン識別信号PIDが発生しないと、第1減衰
係数K1で減衰した累積動きベクトルAMVを出力する
第1減衰器116の出力を選択する。第1減衰器116
は、0.995の第1減衰係数K1を利用して、受信さ
れる累積動きベクトルAMVを減衰した後、マルチプレ
クサ118の第1端子に印加し、第2減衰器117は、
0.97の第2減衰係数K2を用いて、受信される累積
動きベクトルAMVを減衰した後、マルチプレクサ11
8の第2端子に印加する。それにより、マルチプレクサ
118は、パン識別部111の出力により、対応する減
衰係数で減衰した累積動きベクトルAMVを選択して加
算器113に印加する。
【0152】加算器113は、マルチプレクサ118の
出力とレジスタ112から出力されるフィールド動きベ
クトルFMVとを加算して、累積動きベクトルAMVを
発生する。すなわち、累積動きベクトル発生部13は、
フィールド動きベクトル発生部12から出力されるフィ
ールド動きベクトルFMVと、減衰した累積動きベクト
ルAMV値を加算して累積することが分かる。加算器1
13の出力は、リミッタ114に印加される。このリミ
ッタ114は、累積動きベクトルAMVの大きさが補正
領域の上限値を超過する場合に、映像の断絶を防止する
ため、累積動きベクトルAMVを一定の値にリミッティ
ング処理する。リミッタ114から出力される累積動き
ベクトルAMVは、レジスタ115を通じて出力され
る。
出力とレジスタ112から出力されるフィールド動きベ
クトルFMVとを加算して、累積動きベクトルAMVを
発生する。すなわち、累積動きベクトル発生部13は、
フィールド動きベクトル発生部12から出力されるフィ
ールド動きベクトルFMVと、減衰した累積動きベクト
ルAMV値を加算して累積することが分かる。加算器1
13の出力は、リミッタ114に印加される。このリミ
ッタ114は、累積動きベクトルAMVの大きさが補正
領域の上限値を超過する場合に、映像の断絶を防止する
ため、累積動きベクトルAMVを一定の値にリミッティ
ング処理する。リミッタ114から出力される累積動き
ベクトルAMVは、レジスタ115を通じて出力され
る。
【0153】累積動きベクトルAMVの補正領域は、ア
ドレス制御及びズーム処理部14で処理するズーム割合
(Zoom ratio)によって決定される。すなわち、ズーム
割合が大きい場合には、累積動きベクトルAMVの補正
領域は増加するが、それに伴って、ズーム処理される映
像データの画質は劣化する。そのため、適切なズーム割
合を設定する必要があり、設定されたズーム割合を具現
するための累積動きベクトルAMVの上限値を決定しな
ければならない。そして、累積動きベクトルAMVの大
きさが上限値に達する場合には、これを大きく減衰さ
せ、該累積動きベクトルAMVが、早く“0”の方向に
帰還されることができる必要がある。言い換えれば、累
積動きベクトルAMVの値の大きさが上限値に達する場
合、小さい減衰係数を選択して、累積動きベクトルAM
Vを大きく減衰させなければならない。
ドレス制御及びズーム処理部14で処理するズーム割合
(Zoom ratio)によって決定される。すなわち、ズーム
割合が大きい場合には、累積動きベクトルAMVの補正
領域は増加するが、それに伴って、ズーム処理される映
像データの画質は劣化する。そのため、適切なズーム割
合を設定する必要があり、設定されたズーム割合を具現
するための累積動きベクトルAMVの上限値を決定しな
ければならない。そして、累積動きベクトルAMVの大
きさが上限値に達する場合には、これを大きく減衰さ
せ、該累積動きベクトルAMVが、早く“0”の方向に
帰還されることができる必要がある。言い換えれば、累
積動きベクトルAMVの値の大きさが上限値に達する場
合、小さい減衰係数を選択して、累積動きベクトルAM
Vを大きく減衰させなければならない。
【0154】このような機能は、比較器119によって
遂行される。この比較器119は、累積動きベクトルA
MVを比較入力として受信し、第4しきい値REF4を
基準入力として受信する。この第4しきい値REF4
は、累積動きベクトルAMV値が補正領域を超過しない
ように設定されたしきい値である。比較器119及びパ
ン識別部111の各出力は、ORゲート120を介して
マルチプレクサ118の選択信号として印加される。し
たがって、マルチプレクサ118は、パン識別信号PI
Dの発生時と同様の動作を行って、累積動きベクトルA
MVが正常な補正領域内の大きさを有する場合(AMV
<REF4)、第1減衰器116の出力を選択し、一
方、補正領域の上限値の値を超過する場合(AMV>R
EF4)に、第2減衰器117の出力を選択する。それ
により、パン識別信号PIDの場合と同じ動作過程を遂
行しつつ、累積動きベクトルAMVを発生する。
遂行される。この比較器119は、累積動きベクトルA
MVを比較入力として受信し、第4しきい値REF4を
基準入力として受信する。この第4しきい値REF4
は、累積動きベクトルAMV値が補正領域を超過しない
ように設定されたしきい値である。比較器119及びパ
ン識別部111の各出力は、ORゲート120を介して
マルチプレクサ118の選択信号として印加される。し
たがって、マルチプレクサ118は、パン識別信号PI
Dの発生時と同様の動作を行って、累積動きベクトルA
MVが正常な補正領域内の大きさを有する場合(AMV
<REF4)、第1減衰器116の出力を選択し、一
方、補正領域の上限値の値を超過する場合(AMV>R
EF4)に、第2減衰器117の出力を選択する。それ
により、パン識別信号PIDの場合と同じ動作過程を遂
行しつつ、累積動きベクトルAMVを発生する。
【0155】ここで、図14A〜図14Cを参照すると
分かるように、累積動きベクトルAMVが発生すると
き、累積動きベクトルAMVが、第4しきい値REF4
より小さい場合には、比較器119が、第1減衰器11
6の出力を選択するための信号を出力し、それによって
マルチプレクサ118は、時点T1以前で、図14Cに
示すように、第1減衰係数K1である0.995で減衰
する第1減衰器116の出力を選択して、加算器113
に印加する。一方、時点T1以後に、10フレーム以上
の同一方向に移動するフィールド動きベクトルFMVが
発生すると、パン識別部111は、図14Aに示すよう
にパン識別信号PIDを発生する。すると、マルチプレ
クサ118は、このパン識別信号PIDにより、図14
Cに示すように、第2減衰係数K2である0.97で減
衰する第2減衰器117の出力を選択して、加算器11
3に印加する。この状態で、時点T2において、該パン
識別信号PIDが解除されると、マルチプレクサ118
は、再度、第1減衰器116の出力を選択出力する。さ
らに、第1減衰器116の出力を選択している状態で、
時点T3において、累積動きベクトルAMVの大きさが
第4しきい値REF4より大きくなると、マルチプレク
サ118は、再度、第2減衰器117の出力を選択し
て、累積動きベクトルAMVが補正可能な大きさに迅速
に還元され得るようにする。このとき、時点T4のよう
に、累積動きベクトルAMVが上限値に到達すると、こ
の時からリミッタ114が動作して、累積動きベクトル
AMVを一定の大きさに維持させる。
分かるように、累積動きベクトルAMVが発生すると
き、累積動きベクトルAMVが、第4しきい値REF4
より小さい場合には、比較器119が、第1減衰器11
6の出力を選択するための信号を出力し、それによって
マルチプレクサ118は、時点T1以前で、図14Cに
示すように、第1減衰係数K1である0.995で減衰
する第1減衰器116の出力を選択して、加算器113
に印加する。一方、時点T1以後に、10フレーム以上
の同一方向に移動するフィールド動きベクトルFMVが
発生すると、パン識別部111は、図14Aに示すよう
にパン識別信号PIDを発生する。すると、マルチプレ
クサ118は、このパン識別信号PIDにより、図14
Cに示すように、第2減衰係数K2である0.97で減
衰する第2減衰器117の出力を選択して、加算器11
3に印加する。この状態で、時点T2において、該パン
識別信号PIDが解除されると、マルチプレクサ118
は、再度、第1減衰器116の出力を選択出力する。さ
らに、第1減衰器116の出力を選択している状態で、
時点T3において、累積動きベクトルAMVの大きさが
第4しきい値REF4より大きくなると、マルチプレク
サ118は、再度、第2減衰器117の出力を選択し
て、累積動きベクトルAMVが補正可能な大きさに迅速
に還元され得るようにする。このとき、時点T4のよう
に、累積動きベクトルAMVが上限値に到達すると、こ
の時からリミッタ114が動作して、累積動きベクトル
AMVを一定の大きさに維持させる。
【0156】映像安定システムをハードウェアで具現す
る場合、実験によると、停止された映像データでも雑音
成分によって若干の振れが検出される。このような現象
は、映像データがエッジ検出による2進データに変換さ
れ処理されるため、雑音成分が最大相関度Cmaxの周
辺で影響して微細な動きベクトルを発生し、これが累積
され、時間に関係した不要な連続的な動きが発生するよ
うになる。停止画面でこのような問題点を除去し、安定
した映像を提供するために、第1実施例では、累積動き
ベクトルAMVの誤り動きベクトルを抑制させる。これ
は、累積動きベクトルAMVを入力として、誤りベクト
ル補償値だけ減少したデータを出力し、低い動きベクト
ルに該当するデータを“0”にリセットさせるものであ
る。すると、動きベクトルの雑音成分が抑制され、画面
の再現が安定するようにする。
る場合、実験によると、停止された映像データでも雑音
成分によって若干の振れが検出される。このような現象
は、映像データがエッジ検出による2進データに変換さ
れ処理されるため、雑音成分が最大相関度Cmaxの周
辺で影響して微細な動きベクトルを発生し、これが累積
され、時間に関係した不要な連続的な動きが発生するよ
うになる。停止画面でこのような問題点を除去し、安定
した映像を提供するために、第1実施例では、累積動き
ベクトルAMVの誤り動きベクトルを抑制させる。これ
は、累積動きベクトルAMVを入力として、誤りベクト
ル補償値だけ減少したデータを出力し、低い動きベクト
ルに該当するデータを“0”にリセットさせるものであ
る。すると、動きベクトルの雑音成分が抑制され、画面
の再現が安定するようにする。
【0157】ところが、この場合に、フィールド動きベ
クトルFMVの微少な実際の振れ成分をも除去して、映
像安定化システムの機能を低下させてしまう可能性もあ
る。したがって、雑音成分を抑制しつつ、同時に映像安
定化システムの効率を満足できる処理のために、次のよ
うな特性式が提案される。 Xc(n)=X(n)−Vc…X(n)が正数で、X
(n)≧Vcの場合 Xc(n)=0…………………X(n)が正数で、X
(n)≦Vcの場合 Xc(n)=X(n)+Vc…X(n)が負数で、X
(n)≦−Vcの場合 Xc(n)=0…………………X(n)が負数で、X
(n)≧−Vcの場合 ここで、X(n)は、累積動きベクトルAMV、Xc
(n)は、誤りベクトルが抑制された補償累積動きベク
トルCAMV、Vcは、平均誤りベクトル補償値をそれ
ぞれ示す。
クトルFMVの微少な実際の振れ成分をも除去して、映
像安定化システムの機能を低下させてしまう可能性もあ
る。したがって、雑音成分を抑制しつつ、同時に映像安
定化システムの効率を満足できる処理のために、次のよ
うな特性式が提案される。 Xc(n)=X(n)−Vc…X(n)が正数で、X
(n)≧Vcの場合 Xc(n)=0…………………X(n)が正数で、X
(n)≦Vcの場合 Xc(n)=X(n)+Vc…X(n)が負数で、X
(n)≦−Vcの場合 Xc(n)=0…………………X(n)が負数で、X
(n)≧−Vcの場合 ここで、X(n)は、累積動きベクトルAMV、Xc
(n)は、誤りベクトルが抑制された補償累積動きベク
トルCAMV、Vcは、平均誤りベクトル補償値をそれ
ぞれ示す。
【0158】一般に、平均誤りベクトル補償値Vcは、
信号処理の性能に重要な要素で、累積動きベクトルAM
Vの大きさによる映像の停止有無、及び、最大相関度C
maxと第2最大相関度C2 ndとの差分である最大相
関度差Cdifによる雑音成分の影響有無に応じた加重
値を組合わせて、適応的に範囲を可変できるようにす
る。ここで、最大相関度差Cdifは、局部動き検出領
域単位で発生される信号なので、このような最大相関度
差信号を、1フィールド周期で平均化した平均最大相関
度差Cadを使用する。この平均最大相関度差Cad
は、平均最大相関度差発生部65から発生される。
信号処理の性能に重要な要素で、累積動きベクトルAM
Vの大きさによる映像の停止有無、及び、最大相関度C
maxと第2最大相関度C2 ndとの差分である最大相
関度差Cdifによる雑音成分の影響有無に応じた加重
値を組合わせて、適応的に範囲を可変できるようにす
る。ここで、最大相関度差Cdifは、局部動き検出領
域単位で発生される信号なので、このような最大相関度
差信号を、1フィールド周期で平均化した平均最大相関
度差Cadを使用する。この平均最大相関度差Cad
は、平均最大相関度差発生部65から発生される。
【0159】累積動きベクトルAMV及び平均最大相関
度差Cadが小さく現れると、ビデオカメラがほぼ停止
していることを意味するので、若干の動きに対応できる
よう雑音成分を抑制するため、誤りベクトル補償値を大
きくする。一方、累積動きベクトルAMV及び平均最大
相関度差Cadがそれぞれ大きく現われると、ビデオカ
メラが動いていることが明らかなので、誤りベクトル補
償値は、手振れ補正誤りを最小にするために小さくす
る。累積動きベクトルAMVにおける誤り動きベクトル
の補償は、最大0.5画素の誤りベクトル補償値で安定
した映像を得ることができる。実験の結果、誤り動きベ
クトルの処理は、累積動きベクトルAMVでは5画素の
場合に必要で、平均最大相関度差Cadは、10個のエ
ッジ整合の個数以上で必要なものであることが分かっ
た。
度差Cadが小さく現れると、ビデオカメラがほぼ停止
していることを意味するので、若干の動きに対応できる
よう雑音成分を抑制するため、誤りベクトル補償値を大
きくする。一方、累積動きベクトルAMV及び平均最大
相関度差Cadがそれぞれ大きく現われると、ビデオカ
メラが動いていることが明らかなので、誤りベクトル補
償値は、手振れ補正誤りを最小にするために小さくす
る。累積動きベクトルAMVにおける誤り動きベクトル
の補償は、最大0.5画素の誤りベクトル補償値で安定
した映像を得ることができる。実験の結果、誤り動きベ
クトルの処理は、累積動きベクトルAMVでは5画素の
場合に必要で、平均最大相関度差Cadは、10個のエ
ッジ整合の個数以上で必要なものであることが分かっ
た。
【0160】本実施例では、図16A及び図16Bに示
すように、累積動きベクトルAMV及び平均最大相関度
差Cadの大きさによって、予め設定された誤りベクト
ル補償値を適応的に与える。累積動きベクトルAMVの
雑音成分の抑制のための適応的な誤り動きベクトル抑制
は、手振れ補正の正確性を維持しつつ、停止映像の雑音
成分による少量の動きを補償できるようにする。
すように、累積動きベクトルAMV及び平均最大相関度
差Cadの大きさによって、予め設定された誤りベクト
ル補償値を適応的に与える。累積動きベクトルAMVの
雑音成分の抑制のための適応的な誤り動きベクトル抑制
は、手振れ補正の正確性を維持しつつ、停止映像の雑音
成分による少量の動きを補償できるようにする。
【0161】累積動きベクトルAMVのハードウェアの
構成例を図15に示している。この実施例においては、
累積動きベクトルAMVの大きさと平均最大相関度差C
adとにより、誤りベクトル補償値を決定する。すなわ
ち、累積動きベクトルAMV及び平均最大相関度差Ca
dがそれぞれ小さく現われると、カメラがほとんど停止
していることを意味するので、雑音を抑制するために平
均誤りベクトル補償値Vcを大きくする。一方、累積動
きベクトルAMV及び平均最大相関度差Cadがそれぞ
れ大きいと、カメラの動きが明らかな状態なので、手振
れ補正誤りを最小化するために平均誤りベクトル補償値
Vcを小さくする。
構成例を図15に示している。この実施例においては、
累積動きベクトルAMVの大きさと平均最大相関度差C
adとにより、誤りベクトル補償値を決定する。すなわ
ち、累積動きベクトルAMV及び平均最大相関度差Ca
dがそれぞれ小さく現われると、カメラがほとんど停止
していることを意味するので、雑音を抑制するために平
均誤りベクトル補償値Vcを大きくする。一方、累積動
きベクトルAMV及び平均最大相関度差Cadがそれぞ
れ大きいと、カメラの動きが明らかな状態なので、手振
れ補正誤りを最小化するために平均誤りベクトル補償値
Vcを小さくする。
【0162】図15に示すように、累積動きベクトル発
生部13から出力される累積動きベクトルAMVを受信
する第1誤りベクトル補償決定部131は、累積動きベ
クトルAMVの誤りベクトル補償値を与える。すなわ
ち、第1誤りベクトル補償決定部131は、図16Aに
示すように、累積動きベクトルAMVの大きさによって
第1誤りベクトル補償値C1を与える。つまり、累積動
きベクトルAMVが“0”のとき最大0.5をもち、累
積動きベクトルAMVが増加するにつれて第1誤りベク
トル補償値C1が線形的に減少し、“5”以上のとき
“0”となるようにしている。
生部13から出力される累積動きベクトルAMVを受信
する第1誤りベクトル補償決定部131は、累積動きベ
クトルAMVの誤りベクトル補償値を与える。すなわ
ち、第1誤りベクトル補償決定部131は、図16Aに
示すように、累積動きベクトルAMVの大きさによって
第1誤りベクトル補償値C1を与える。つまり、累積動
きベクトルAMVが“0”のとき最大0.5をもち、累
積動きベクトルAMVが増加するにつれて第1誤りベク
トル補償値C1が線形的に減少し、“5”以上のとき
“0”となるようにしている。
【0163】一方、平均最大相関度差発生部65から出
力される平均最大相関度差Cadを受信する第2誤りベ
クトル補償決定部132は、平均最大相関度差Cadの
誤りベクトル補償値を与える。すなわち、第2誤りベク
トル補償決定部132は、図16Bに示すように、平均
最大相関度差Cadの大きさに従って第2誤りベクトル
補償値C2を与える。つまり、実験的に、平均最大相関
度差Cadが“0”のとき最大0.5をもち、平均最大
相関度差Cadが徐々に増加するにつれて最小有効動き
が減少し、平均最大相関度差Cadが10を越えると
“0”となる。このように発生される累積動きベクトル
AMV及び平均最大相関度差Cadに対する誤りベクト
ル補償値を、それぞれC1及びC2とすれば、加算器1
33及び除算器134は、C1及びC2を加算した後に
“2”で割って平均値を得る。この平均値が、上記の平
均誤りベクトル補償値Vcとなり、つまり、平均誤りベ
クトル補償値Vcは、 (C1+C2) /2によって求め
られる。
力される平均最大相関度差Cadを受信する第2誤りベ
クトル補償決定部132は、平均最大相関度差Cadの
誤りベクトル補償値を与える。すなわち、第2誤りベク
トル補償決定部132は、図16Bに示すように、平均
最大相関度差Cadの大きさに従って第2誤りベクトル
補償値C2を与える。つまり、実験的に、平均最大相関
度差Cadが“0”のとき最大0.5をもち、平均最大
相関度差Cadが徐々に増加するにつれて最小有効動き
が減少し、平均最大相関度差Cadが10を越えると
“0”となる。このように発生される累積動きベクトル
AMV及び平均最大相関度差Cadに対する誤りベクト
ル補償値を、それぞれC1及びC2とすれば、加算器1
33及び除算器134は、C1及びC2を加算した後に
“2”で割って平均値を得る。この平均値が、上記の平
均誤りベクトル補償値Vcとなり、つまり、平均誤りベ
クトル補償値Vcは、 (C1+C2) /2によって求め
られる。
【0164】平均誤りベクトル補償値Vcが決定される
と、前記の特性式により、微細な誤り動きベクトルが抑
制処理された累積動きベクトルを得ることができるよう
になる。すなわち、累積動きベクトルAMVが正数で、
誤りベクトル補償値より小さい場合、及び、累積動きベ
クトルAMVが負数で、誤りベクトル補償値より大きい
場合には、累積動きベクトルAMVを“0”にリセット
させて動き補正をしない。一方、累積動きベクトルが正
数で、誤りベクトル補償値より大きい場合、又は、累積
動きベクトルが負数で、誤りベクトル補償値より小さい
場合には、累積動きベクトルAMVの大きさを誤りベク
トル補償値だけ減少させる。
と、前記の特性式により、微細な誤り動きベクトルが抑
制処理された累積動きベクトルを得ることができるよう
になる。すなわち、累積動きベクトルAMVが正数で、
誤りベクトル補償値より小さい場合、及び、累積動きベ
クトルAMVが負数で、誤りベクトル補償値より大きい
場合には、累積動きベクトルAMVを“0”にリセット
させて動き補正をしない。一方、累積動きベクトルが正
数で、誤りベクトル補償値より大きい場合、又は、累積
動きベクトルが負数で、誤りベクトル補償値より小さい
場合には、累積動きベクトルAMVの大きさを誤りベク
トル補償値だけ減少させる。
【0165】このように微細な動きを抑制処理するため
に、減算器137が、受信される累積動きベクトルX
(n) と平均誤りベクトル補償値Vcを減算してX (n)
−Vc値を発生し、そして、加算器138が、受信さ
れる累積動きベクトルX (n)と平均誤りベクトル補償
値Vcを加算してX (n) +Vc値を発生する。これら
減算器137及び加算器138の出力は、それぞれマル
チプレクサ139の第1端子及び第2端子に印加され
る。そして、ORゲート140が、減算器137の出力
の符号ビットMSB及び加算器138の出力の反転符号
ビットMSBを受信して論理和し、ここで発生される信
号が、マルチプレクサ139のエネーブル信号として印
加される。したがって、減算器137の符号ビットが
“1”で、加算器138の符号ビットが“0”の場合、
すなわち、累積動きベクトルAMVが正数で大きさが誤
りベクトル補償値より小さく、あるいは、累積動きベク
トルAMVが負数で平均誤りベクトル補償値Vcより大
きい場合には、ORゲート140は論理“ハイ”の信号
を出力し、この場合、マルチプレクサ139はディスエ
ーブルされ、補償累積動きベクトルXc (n) を“0”
で出力する。それにより、累積動きベクトルAMVが、
小さい動きベクトル成分を有する場合、累積動きベクト
ルAMVをリセットさせ、雑音成分によって現れる微細
な動きベクトル成分を抑制する。
に、減算器137が、受信される累積動きベクトルX
(n) と平均誤りベクトル補償値Vcを減算してX (n)
−Vc値を発生し、そして、加算器138が、受信さ
れる累積動きベクトルX (n)と平均誤りベクトル補償
値Vcを加算してX (n) +Vc値を発生する。これら
減算器137及び加算器138の出力は、それぞれマル
チプレクサ139の第1端子及び第2端子に印加され
る。そして、ORゲート140が、減算器137の出力
の符号ビットMSB及び加算器138の出力の反転符号
ビットMSBを受信して論理和し、ここで発生される信
号が、マルチプレクサ139のエネーブル信号として印
加される。したがって、減算器137の符号ビットが
“1”で、加算器138の符号ビットが“0”の場合、
すなわち、累積動きベクトルAMVが正数で大きさが誤
りベクトル補償値より小さく、あるいは、累積動きベク
トルAMVが負数で平均誤りベクトル補償値Vcより大
きい場合には、ORゲート140は論理“ハイ”の信号
を出力し、この場合、マルチプレクサ139はディスエ
ーブルされ、補償累積動きベクトルXc (n) を“0”
で出力する。それにより、累積動きベクトルAMVが、
小さい動きベクトル成分を有する場合、累積動きベクト
ルAMVをリセットさせ、雑音成分によって現れる微細
な動きベクトル成分を抑制する。
【0166】一方、このような条件を除いて、ORゲー
ト120は、マルチプレクサ139をエネーブルさせ
る。このとき、減算器137から出力される第1補償累
積動きベクトルX (n) −Vcの符号ビットMSBは、
マルチプレクサ139の選択信号として印加される。し
たがって、減算器137の出力論理により、マルチプレ
クサ139は、累積動きベクトルX (n) が正数で、平
均誤りベクトル補償値Vcより大きい場合、第1端子に
受信される第1補償累積動きベクトルX (n) −Vc値
を選択して補償累積動きベクトルを出力し、また、累積
動きベクトルX (n) が負数で、平均誤りベクトル補償
値Vcより小さい場合には、第2端子に受信される第2
補償累積動きベクトルX (n) +Vcを選択して補償累
積動きベクトルを出力する。このようにして、カメラの
動きが明らかな場合には、累積動きベクトルAMVを、
平均誤りベクトル補償値Vcだけ減少させ、雑音によっ
て発生する微細な動きベクトル成分を抑制する。
ト120は、マルチプレクサ139をエネーブルさせ
る。このとき、減算器137から出力される第1補償累
積動きベクトルX (n) −Vcの符号ビットMSBは、
マルチプレクサ139の選択信号として印加される。し
たがって、減算器137の出力論理により、マルチプレ
クサ139は、累積動きベクトルX (n) が正数で、平
均誤りベクトル補償値Vcより大きい場合、第1端子に
受信される第1補償累積動きベクトルX (n) −Vc値
を選択して補償累積動きベクトルを出力し、また、累積
動きベクトルX (n) が負数で、平均誤りベクトル補償
値Vcより小さい場合には、第2端子に受信される第2
補償累積動きベクトルX (n) +Vcを選択して補償累
積動きベクトルを出力する。このようにして、カメラの
動きが明らかな場合には、累積動きベクトルAMVを、
平均誤りベクトル補償値Vcだけ減少させ、雑音によっ
て発生する微細な動きベクトル成分を抑制する。
【0167】以上のように、雑音等により累積動きベク
トルAMVに含まれる微細な動き成分は、誤り動きベク
トル処理過程を通じて取り除き、これによって、補償累
積動きベクトル発生部16は、信頼性のある動きベクト
ル成分の信号をアドレス制御及びズーム処理部14に供
給できるようになる。したがって、アドレス制御及びズ
ーム処理部14は、補償累積動きベクトルCAMVによ
り、フィールドメモリ15に貯蔵されている映像データ
のアクセス位置を、正確に制御できるようになる。そし
て、アドレス制御及びズーム処理部14は、フィールド
メモリ15に貯蔵されている映像データを、補間による
方法で映像の一定部分を拡大して安定したズーム映像を
具現することができる。
トルAMVに含まれる微細な動き成分は、誤り動きベク
トル処理過程を通じて取り除き、これによって、補償累
積動きベクトル発生部16は、信頼性のある動きベクト
ル成分の信号をアドレス制御及びズーム処理部14に供
給できるようになる。したがって、アドレス制御及びズ
ーム処理部14は、補償累積動きベクトルCAMVによ
り、フィールドメモリ15に貯蔵されている映像データ
のアクセス位置を、正確に制御できるようになる。そし
て、アドレス制御及びズーム処理部14は、フィールド
メモリ15に貯蔵されている映像データを、補間による
方法で映像の一定部分を拡大して安定したズーム映像を
具現することができる。
【0168】第2実施例 図17に、本発明による映像安定化システムの第2実施
例の構成例を示し、上記第1実施例の関連図を参照して
説明する。
例の構成例を示し、上記第1実施例の関連図を参照して
説明する。
【0169】図17に示す第2実施例は、図1に示す第
1実施例から補償累積動きベクトル発生部16を取り、
フィールド動きベクトル発生部12の出力端と累積動き
ベクトル発生部13の入力端との間に、補償フィールド
動きベクトル発生部17を設けたものである。その構成
を順に説明する。
1実施例から補償累積動きベクトル発生部16を取り、
フィールド動きベクトル発生部12の出力端と累積動き
ベクトル発生部13の入力端との間に、補償フィールド
動きベクトル発生部17を設けたものである。その構成
を順に説明する。
【0170】カメラから発生されるディジタル映像デー
タは、局部動きベクトル発生部11及びフィールドメモ
リ15に印加される。局部動きベクトル発生部11は、
ディジタル映像データを受信し、該映像データから現在
のフィールドの2進エッジデータを検出し、検出された
2進エッジデータを、以前フィールドの2進エッジデー
タと局部動き検出領域単位でパターン整合させ、連続し
た二つのフィールド間の比較による相関度を計算し、こ
の相関度データを用いて、該当する局部動き検出領域で
の局部動きベクトルLMV及び統計的変数を発生する。
そして、フィールド動きベクトル発生部12は、局部動
きベクトル発生部11の出力端と接続され、局部動きベ
クトルLMV及び統計的変数を受信する。このフィール
ド動きベクトル発生部12は、受信される局部動きベク
トルLMV及び統計的変数から、映像の安定有無によ
り、1フィールドの全ての動きを表すフィールド動きベ
クトルFMVを発生する。
タは、局部動きベクトル発生部11及びフィールドメモ
リ15に印加される。局部動きベクトル発生部11は、
ディジタル映像データを受信し、該映像データから現在
のフィールドの2進エッジデータを検出し、検出された
2進エッジデータを、以前フィールドの2進エッジデー
タと局部動き検出領域単位でパターン整合させ、連続し
た二つのフィールド間の比較による相関度を計算し、こ
の相関度データを用いて、該当する局部動き検出領域で
の局部動きベクトルLMV及び統計的変数を発生する。
そして、フィールド動きベクトル発生部12は、局部動
きベクトル発生部11の出力端と接続され、局部動きベ
クトルLMV及び統計的変数を受信する。このフィール
ド動きベクトル発生部12は、受信される局部動きベク
トルLMV及び統計的変数から、映像の安定有無によ
り、1フィールドの全ての動きを表すフィールド動きベ
クトルFMVを発生する。
【0171】補償フィールド動きベクトル発生部17
は、フィールド動きベクトル発生部12の出力端と接続
されてフィールド動きベクトルFMVを受信し、また、
累積動きベクトルAMVを受信する。この補償フィール
ド動きベクトル発生部17は、累積動きベクトルAMV
を受信して誤り動きの大きさを決定し、この誤り動きの
大きさにより、受信されるフィールド動きベクトルFM
Vに含まれている誤り動きベクトルを除去して、補償さ
れたフィールド動きベクトル(Compensating Field Mot
ion Vector)CFMVを発生する。
は、フィールド動きベクトル発生部12の出力端と接続
されてフィールド動きベクトルFMVを受信し、また、
累積動きベクトルAMVを受信する。この補償フィール
ド動きベクトル発生部17は、累積動きベクトルAMV
を受信して誤り動きの大きさを決定し、この誤り動きの
大きさにより、受信されるフィールド動きベクトルFM
Vに含まれている誤り動きベクトルを除去して、補償さ
れたフィールド動きベクトル(Compensating Field Mot
ion Vector)CFMVを発生する。
【0172】累積動きベクトル発生部13は、補償フィ
ールド動きベクトル発生部17の出力端と接続され、補
償フィールド動きベクトルCFMVを受信する。この累
積動きベクトル発生部13は、受信される補償フィール
ド動きベクトルCFMVを累積して、連続的なフィール
ド間の振れを最初の状態に安定化するための累積動きベ
クトルAMVを発生し、これを補償フィールド動きベク
トル発生部17の入力としても印加する。
ールド動きベクトル発生部17の出力端と接続され、補
償フィールド動きベクトルCFMVを受信する。この累
積動きベクトル発生部13は、受信される補償フィール
ド動きベクトルCFMVを累積して、連続的なフィール
ド間の振れを最初の状態に安定化するための累積動きベ
クトルAMVを発生し、これを補償フィールド動きベク
トル発生部17の入力としても印加する。
【0173】フィールドメモリ15は、映像データを受
信し、アドレスにより該当する領域に映像データを貯蔵
及び出力する。そして、アドレス制御及びズーム処理部
14は、累積動きベクトル発生部13の出力端と接続さ
れ、受信される累積動きベクトルAMVから読出アドレ
スを発生し、フィールドメモリ15に印加すると共に、
フィールドメモリ15から読出される映像データを受信
して、動き補償(motion compensation )を行う。すな
わち、アドレス制御及びズーム処理部14は、読出アド
レスによりフィールドメモリ15から受信される映像デ
ータを、上述のような過程を通じた動き補償によって、
ディジタルズーム過程では映像データを補間して映像の
一定部分を拡大し、最終的に安定した映像を出力する。
信し、アドレスにより該当する領域に映像データを貯蔵
及び出力する。そして、アドレス制御及びズーム処理部
14は、累積動きベクトル発生部13の出力端と接続さ
れ、受信される累積動きベクトルAMVから読出アドレ
スを発生し、フィールドメモリ15に印加すると共に、
フィールドメモリ15から読出される映像データを受信
して、動き補償(motion compensation )を行う。すな
わち、アドレス制御及びズーム処理部14は、読出アド
レスによりフィールドメモリ15から受信される映像デ
ータを、上述のような過程を通じた動き補償によって、
ディジタルズーム過程では映像データを補間して映像の
一定部分を拡大し、最終的に安定した映像を出力する。
【0174】この第2実施例の構成で、補償フィールド
動きベクトル発生部17は、受信されるフィールド動き
ベクトルFMVに含まれた誤り動きベクトルを取り除
き、それによって、フィールド動きベクトルFMVにお
いて停止画面に近い微細な動き成分を除去できるように
なり、安定した映像を再現できる。このようなフィール
ド動きベクトルFMVに含まれた誤り動きベクトルを処
理するための誤りベクトル補償値は、上述の第1実施例
と同様の形態で具現可能である。すなわち、補償フィー
ルド動きベクトル発生部17は、適応的な誤りベクトル
補償値を使用するが、この誤りベクトル補償値を決定す
る要素として、以前累積動きベクトルと平均最大相関度
差Cadを用いる。この場合、以前累積動きベクトルの
大きさ及び平均最大相関度差Cadが、小さければ小さ
いほど誤り動きベクトルの確率が高いので、誤りベクト
ル補償値を大きくして、フィールド動きベクトルFMV
に含まれる誤り動きを除去することができる。それによ
って、以前累積動きベクトル値が大きい場合、又は、平
均最大相関度差Cadが大きい場合には、検出された動
きベクトルを最大限に用いて、完璧な動き補正が可能に
なる。
動きベクトル発生部17は、受信されるフィールド動き
ベクトルFMVに含まれた誤り動きベクトルを取り除
き、それによって、フィールド動きベクトルFMVにお
いて停止画面に近い微細な動き成分を除去できるように
なり、安定した映像を再現できる。このようなフィール
ド動きベクトルFMVに含まれた誤り動きベクトルを処
理するための誤りベクトル補償値は、上述の第1実施例
と同様の形態で具現可能である。すなわち、補償フィー
ルド動きベクトル発生部17は、適応的な誤りベクトル
補償値を使用するが、この誤りベクトル補償値を決定す
る要素として、以前累積動きベクトルと平均最大相関度
差Cadを用いる。この場合、以前累積動きベクトルの
大きさ及び平均最大相関度差Cadが、小さければ小さ
いほど誤り動きベクトルの確率が高いので、誤りベクト
ル補償値を大きくして、フィールド動きベクトルFMV
に含まれる誤り動きを除去することができる。それによ
って、以前累積動きベクトル値が大きい場合、又は、平
均最大相関度差Cadが大きい場合には、検出された動
きベクトルを最大限に用いて、完璧な動き補正が可能に
なる。
【0175】図18は、フィールド動きベクトルFMV
に含まれた微細な誤り動きベクトルを抑制するための補
償フィールド動きベクトル発生部17の構成例を示す。
図15に示す第1実施例の構成を変形し、レジスタ(R
EG)136に、XnとしてFMVを印加し、第1誤り
ベクトル補償決定部131には、1フィールド遅延した
AMV、すなわち現時点での前回フィールドのデータP
AMVを印加する。
に含まれた微細な誤り動きベクトルを抑制するための補
償フィールド動きベクトル発生部17の構成例を示す。
図15に示す第1実施例の構成を変形し、レジスタ(R
EG)136に、XnとしてFMVを印加し、第1誤り
ベクトル補償決定部131には、1フィールド遅延した
AMV、すなわち現時点での前回フィールドのデータP
AMVを印加する。
【0176】誤りベクトル決定手段は、フィールド遅延
器142、第1、第2誤りベクトル補償決定部131、
132、加算器133、及び除算器134から構成され
る。フィールド遅延器142は、累積動きベクトルAM
Vを受信して、1フィールドだけ遅延された以前累積動
きベクトルPAMVを発生する。第1誤りベクトル補償
決定部131は、フィールド遅延器142の出力端と接
続され、以前累積動きベクトルPAMVの誤り動きを決
定して、第1誤りベクトル補償値C1を発生する。第2
誤りベクトル補償決定部132は、前述の平均最大相関
度差発生部65と接続され、受信される平均最大相関度
差Cadの誤り動きを決定して、第2誤りベクトル補償
値C2を発生する。加算器133は、第1、第2誤りベ
クトル補償決定部131、132の出力端と接続され、
受信される第1、第2誤りベクトル補償値C1、C2を
加算する。そして、除算器134は、加算器133と接
続され、加算器133の出力C1+C2を“1/2”で
割って、平均誤りベクトル補償値Vcを発生する。
器142、第1、第2誤りベクトル補償決定部131、
132、加算器133、及び除算器134から構成され
る。フィールド遅延器142は、累積動きベクトルAM
Vを受信して、1フィールドだけ遅延された以前累積動
きベクトルPAMVを発生する。第1誤りベクトル補償
決定部131は、フィールド遅延器142の出力端と接
続され、以前累積動きベクトルPAMVの誤り動きを決
定して、第1誤りベクトル補償値C1を発生する。第2
誤りベクトル補償決定部132は、前述の平均最大相関
度差発生部65と接続され、受信される平均最大相関度
差Cadの誤り動きを決定して、第2誤りベクトル補償
値C2を発生する。加算器133は、第1、第2誤りベ
クトル補償決定部131、132の出力端と接続され、
受信される第1、第2誤りベクトル補償値C1、C2を
加算する。そして、除算器134は、加算器133と接
続され、加算器133の出力C1+C2を“1/2”で
割って、平均誤りベクトル補償値Vcを発生する。
【0177】したがって、誤りベクトル決定手段は、受
信される以前累積動きベクトルPAMV及び平均最大相
関度差Cadの各誤りベクトル補償値をそれぞれ決定し
た後、二つの誤りベクトル補償値C1、C2を平均し
て、平均誤りベクトル補償値Vcとして出力する。
信される以前累積動きベクトルPAMV及び平均最大相
関度差Cadの各誤りベクトル補償値をそれぞれ決定し
た後、二つの誤りベクトル補償値C1、C2を平均し
て、平均誤りベクトル補償値Vcとして出力する。
【0178】補償フィールド動きベクトル発生手段は、
レジスタ135、136、減算器137、加算器13
8、ORゲート140、インバータ141、及びマルチ
プレクサ139から構成される。レジスタ136は、フ
ィールド動きベクトルFMVを受信し貯蔵する。レジス
タ135は、平均誤りベクトル補償値Vcを受信し貯蔵
する。減算器137は、レジスタ136、135の出力
を受信し、フィールド動きベクトルFMVと平均誤りベ
クトル補償値Vcを減算して、第1補償フィールド動き
ベクトルXn−Vcを発生する。加算器138は、レジ
スタ136、135の出力を受信し、フィールド動きベ
クトルFMVと平均誤りベクトル補償値Vcを加算し
て、第2補償フィールド動きベクトルXn+Vcを発生
する。ORゲート140は、第1補償フィールド動きベ
クトルXn−Vcの符号MSBと、反転された第2補償
フィールド動きベクトルXn+Vcの符号MSBとを受
信し、論理和して出力する。マルチプレクサ139は、
減算器137の第1補償フィールド動きベクトルXn−
Vcの出力を第1端子に受信し、また、加算器138の
第2補償フィールド動きベクトルXn+Vcの出力を第
2端子に受信し、そして、第1補償フィールド動きベク
トルXn−Vcの符号MSBを選択端子に受信し、さら
に、ORゲート140の出力をエネーブル端子に受信す
る。このマルチプレクサ139が、フィールド動きベク
トルFMVと平均誤りベクトル補償値Vcとの関係に基
づいて補償フィールド動きベクトルCFMVを発生し、
累積動きベクトル発生部13に出力する。
レジスタ135、136、減算器137、加算器13
8、ORゲート140、インバータ141、及びマルチ
プレクサ139から構成される。レジスタ136は、フ
ィールド動きベクトルFMVを受信し貯蔵する。レジス
タ135は、平均誤りベクトル補償値Vcを受信し貯蔵
する。減算器137は、レジスタ136、135の出力
を受信し、フィールド動きベクトルFMVと平均誤りベ
クトル補償値Vcを減算して、第1補償フィールド動き
ベクトルXn−Vcを発生する。加算器138は、レジ
スタ136、135の出力を受信し、フィールド動きベ
クトルFMVと平均誤りベクトル補償値Vcを加算し
て、第2補償フィールド動きベクトルXn+Vcを発生
する。ORゲート140は、第1補償フィールド動きベ
クトルXn−Vcの符号MSBと、反転された第2補償
フィールド動きベクトルXn+Vcの符号MSBとを受
信し、論理和して出力する。マルチプレクサ139は、
減算器137の第1補償フィールド動きベクトルXn−
Vcの出力を第1端子に受信し、また、加算器138の
第2補償フィールド動きベクトルXn+Vcの出力を第
2端子に受信し、そして、第1補償フィールド動きベク
トルXn−Vcの符号MSBを選択端子に受信し、さら
に、ORゲート140の出力をエネーブル端子に受信す
る。このマルチプレクサ139が、フィールド動きベク
トルFMVと平均誤りベクトル補償値Vcとの関係に基
づいて補償フィールド動きベクトルCFMVを発生し、
累積動きベクトル発生部13に出力する。
【0179】このような補償フィールド動きベクトル発
生手段は、フィールド動きベクトルFMVと平均誤りベ
クトル補償値Vcを減算して第1補償フィールド動きベ
クトルを発生し、また、フィールド動きベクトルFMV
と平均誤りベクトル補償値Vcを加算して第2補償フィ
ールド動きベクトルを発生する。そして、フィールド動
きベクトルFMVが正数で、平均誤りベクトル補償値V
cより大きい場合には、第1補償フィールド動きベクト
ルXn−Vcを、補償フィールド動きベクトルCFMV
として選択出力し、一方、フィールド動きベクトルFM
Vが負数で、平均誤りベクトル補償値Vcより小さい場
合には、第2補償フィールド動きベクトルXn+Vc
を、補償フィールド動きベクトルCFMVとして選択出
力する。さらに、フィールド動きベクトルFMVが正数
で、平均誤りベクトル補償値Vcより小さい、あるい
は、フィールド動きベクトルFMVが負数で、平均誤り
ベクトル補償値Vcより大きいと、補償フィールド動き
ベクトルCFMVを“0”にリセットさせ、誤り動き成
分を抑制するようになっている。
生手段は、フィールド動きベクトルFMVと平均誤りベ
クトル補償値Vcを減算して第1補償フィールド動きベ
クトルを発生し、また、フィールド動きベクトルFMV
と平均誤りベクトル補償値Vcを加算して第2補償フィ
ールド動きベクトルを発生する。そして、フィールド動
きベクトルFMVが正数で、平均誤りベクトル補償値V
cより大きい場合には、第1補償フィールド動きベクト
ルXn−Vcを、補償フィールド動きベクトルCFMV
として選択出力し、一方、フィールド動きベクトルFM
Vが負数で、平均誤りベクトル補償値Vcより小さい場
合には、第2補償フィールド動きベクトルXn+Vc
を、補償フィールド動きベクトルCFMVとして選択出
力する。さらに、フィールド動きベクトルFMVが正数
で、平均誤りベクトル補償値Vcより小さい、あるい
は、フィールド動きベクトルFMVが負数で、平均誤り
ベクトル補償値Vcより大きいと、補償フィールド動き
ベクトルCFMVを“0”にリセットさせ、誤り動き成
分を抑制するようになっている。
【0180】第1誤りベクトル補償決定部131で処理
される以前累積動きベクトルPAMVと第1誤りベクト
ル補償値C1との間の特性についても、図16Aに示す
特性図と同様に示される。また、第2誤りベクトル補償
決定部132で処理される平均最大相関度差Cadと第
2誤りベクトル補償値C2との関係についても、図16
Bに示す特性図と同様になる。
される以前累積動きベクトルPAMVと第1誤りベクト
ル補償値C1との間の特性についても、図16Aに示す
特性図と同様に示される。また、第2誤りベクトル補償
決定部132で処理される平均最大相関度差Cadと第
2誤りベクトル補償値C2との関係についても、図16
Bに示す特性図と同様になる。
【0181】図19は、図17に示す累積動きベクトル
発生部13の構成例を示している。同図に示すように、
補償フィールド動きベクトルCFMVを入力とし、累積
動きベクトルAMVを出力する。
発生部13の構成例を示している。同図に示すように、
補償フィールド動きベクトルCFMVを入力とし、累積
動きベクトルAMVを出力する。
【0182】パン識別部111は、補償フィールド動き
ベクトルCFMVを受信し、その補償フィールド動きベ
クトルCFMVが、所定のフレーム範囲外の同一方向に
発生されていると意図的なパンとみなし、累積動きベク
トルAMVの減衰係数を変更するためのパン識別信号P
IDを発生する。また、比較器119は、累積動きベク
トルAMVを比較入力として受信し、累積動きベクトル
AMVの大きさが最大補正領域を超過しないように設定
した第4しきい値REF4を、基準入力として受信す
る。この比較器119は、累積動きベクトルAMVの大
きさが第4しきい値REF4より大きい場合、累積動き
ベクトルAMVの減衰値を変更するための比較結果の信
号を発生する。そして、ORゲート120が、パン識別
部111及び比較器119の各出力を受信し、これらに
基づいて、累積動きベクトルAMVの減衰値を選択する
ための信号を出力する。
ベクトルCFMVを受信し、その補償フィールド動きベ
クトルCFMVが、所定のフレーム範囲外の同一方向に
発生されていると意図的なパンとみなし、累積動きベク
トルAMVの減衰係数を変更するためのパン識別信号P
IDを発生する。また、比較器119は、累積動きベク
トルAMVを比較入力として受信し、累積動きベクトル
AMVの大きさが最大補正領域を超過しないように設定
した第4しきい値REF4を、基準入力として受信す
る。この比較器119は、累積動きベクトルAMVの大
きさが第4しきい値REF4より大きい場合、累積動き
ベクトルAMVの減衰値を変更するための比較結果の信
号を発生する。そして、ORゲート120が、パン識別
部111及び比較器119の各出力を受信し、これらに
基づいて、累積動きベクトルAMVの減衰値を選択する
ための信号を出力する。
【0183】減衰決定手段は、マルチプレクサ118及
び第1、第2減衰器116、117から構成される。第
1減衰器116は、累積動きベクトルAMVを受信し、
セットされた第1減衰係数K1で、受信される累積動き
ベクトルAMVを減衰する。第2減衰器117は、累積
動きベクトルAMVを受信し、第2減衰係数K2で、受
信される累積動きベクトルAMVを減衰する。マルチプ
レクサ118は、第1端子に第1減衰器116の出力を
受信し、また、第2端子に第2減衰器117の出力を受
信し、そして、選択端子にORゲート120の出力を受
信する。このマルチプレクサ118は、パン識別信号P
IDが発生される場合、又は、第4しきい値REF4よ
り累積動きベクトルAMVが大きいことを示す比較結果
信号が受信される場合に、第2減衰器117の出力を選
択出力し、その他の場合には、第1減衰器116の出力
を選択出力する。
び第1、第2減衰器116、117から構成される。第
1減衰器116は、累積動きベクトルAMVを受信し、
セットされた第1減衰係数K1で、受信される累積動き
ベクトルAMVを減衰する。第2減衰器117は、累積
動きベクトルAMVを受信し、第2減衰係数K2で、受
信される累積動きベクトルAMVを減衰する。マルチプ
レクサ118は、第1端子に第1減衰器116の出力を
受信し、また、第2端子に第2減衰器117の出力を受
信し、そして、選択端子にORゲート120の出力を受
信する。このマルチプレクサ118は、パン識別信号P
IDが発生される場合、又は、第4しきい値REF4よ
り累積動きベクトルAMVが大きいことを示す比較結果
信号が受信される場合に、第2減衰器117の出力を選
択出力し、その他の場合には、第1減衰器116の出力
を選択出力する。
【0184】累積動きベクトル発生手段は、レジスタ1
12、115、加算器113、及びリミッタ114から
構成される。レジスタ112は、図5に示すサンプリン
グクロックFCKの発生時に、受信される補償フィール
ド動きベクトルCFMVを貯蔵する。加算器113は、
レジスタ112及びマルチプレクサ118の各出力を受
信し、これら二つの信号を加算して、累積動きベクトル
AMVを発生する。リミッタ114は、加算器113の
出力を受信し、累積動きベクトルAMVが最大補正領域
を超過するときに、一定の値にリミッティングする。レ
ジスタ115は、図5に示すサンプリングクロックAC
Kの発生時に、リミッタ114の出力を受信して貯蔵
し、これを第1、第2減衰器116、117及び比較器
119の各入力側に印加し、また、アドレス制御及びズ
ーム処理部14に、累積動きベクトルAMVとして出力
する。
12、115、加算器113、及びリミッタ114から
構成される。レジスタ112は、図5に示すサンプリン
グクロックFCKの発生時に、受信される補償フィール
ド動きベクトルCFMVを貯蔵する。加算器113は、
レジスタ112及びマルチプレクサ118の各出力を受
信し、これら二つの信号を加算して、累積動きベクトル
AMVを発生する。リミッタ114は、加算器113の
出力を受信し、累積動きベクトルAMVが最大補正領域
を超過するときに、一定の値にリミッティングする。レ
ジスタ115は、図5に示すサンプリングクロックAC
Kの発生時に、リミッタ114の出力を受信して貯蔵
し、これを第1、第2減衰器116、117及び比較器
119の各入力側に印加し、また、アドレス制御及びズ
ーム処理部14に、累積動きベクトルAMVとして出力
する。
【0185】パン識別信号PIDの状態、累積動きベク
トルAMVの移動量の時間変化との関係、補償フィール
ド動きベクトルCFMVから累積動きベクトルAMVが
発生される際の減衰係数の切換え過程については、上述
の図14A〜Cに示すものと同様に示される。
トルAMVの移動量の時間変化との関係、補償フィール
ド動きベクトルCFMVから累積動きベクトルAMVが
発生される際の減衰係数の切換え過程については、上述
の図14A〜Cに示すものと同様に示される。
【0186】以上の構成に基づき、第2実施例について
の動作過程を説明する。尚、フィールド動きベクトルF
MVを発生する過程は、上記の第1実施例の動作過程と
同様につき、その詳細な説明は省略する。
の動作過程を説明する。尚、フィールド動きベクトルF
MVを発生する過程は、上記の第1実施例の動作過程と
同様につき、その詳細な説明は省略する。
【0187】第1実施例の際に述べたように、映像安定
システムをハードウェアで具現する場合、停止した映像
データでは雑音成分によって若干の振れが検出される。
こうした現象は、映像データが、エッジ検出による2進
データに変換され処理されるため、雑音成分が最大相関
度Cmaxの周辺で影響を与えて少量の動きベクトルを
発生し、これがフィールド動きベクトルFMVに含まれ
るようになり発生する。したがって、累積動きベクトル
発生部13で、フィールド動きベクトルFMVを累積し
て累積動きベクトルAMVを発生すると、そのような誤
り動きベクトルが累積され、時間により不必要な連続し
た動きが発生するようになる。
システムをハードウェアで具現する場合、停止した映像
データでは雑音成分によって若干の振れが検出される。
こうした現象は、映像データが、エッジ検出による2進
データに変換され処理されるため、雑音成分が最大相関
度Cmaxの周辺で影響を与えて少量の動きベクトルを
発生し、これがフィールド動きベクトルFMVに含まれ
るようになり発生する。したがって、累積動きベクトル
発生部13で、フィールド動きベクトルFMVを累積し
て累積動きベクトルAMVを発生すると、そのような誤
り動きベクトルが累積され、時間により不必要な連続し
た動きが発生するようになる。
【0188】停止画面におけるこのような問題点を取除
いて安定した映像を提供するために、第2実施例では、
フィールド動きベクトルFMVに含まれた誤り動きベク
トルを抑制する。これは、微細な誤り動きベクトルが含
まれたフィールド動きベクトルFMVを入力として、誤
りベクトル補償値だけ減少させたデータを出力するよう
にすることで、微細な誤り動きベクトルに該当するデー
タを、“0”にリセットするものである。それにより、
動きベクトルの雑音成分が抑制され、画面が安定して再
現される。
いて安定した映像を提供するために、第2実施例では、
フィールド動きベクトルFMVに含まれた誤り動きベク
トルを抑制する。これは、微細な誤り動きベクトルが含
まれたフィールド動きベクトルFMVを入力として、誤
りベクトル補償値だけ減少させたデータを出力するよう
にすることで、微細な誤り動きベクトルに該当するデー
タを、“0”にリセットするものである。それにより、
動きベクトルの雑音成分が抑制され、画面が安定して再
現される。
【0189】しかしながら、この場合、フィールド動き
ベクトルFMVの微少な実際の振れ成分をも除去するこ
とになり、映像安定化システムの機能を低下させる可能
性もある。そこで、雑音成分を抑制しつつ、同時に映像
安定化システムの効率も満足させられるような処理のた
めに、次のような特性式が提案できる。 Xc (n) =X (n) −Vc…X (n) が正数で、X
(n) ≧Vcの場合 Xc (n) =0…………………X (n) が正数で、X
(n) ≦Vcの場合 Xc (n) =X(n)+Vc…X (n) が負数で、X
(n) ≦−Vcの場合 Xc (n) =0…………………X (n) が負数で、X
(n) ≧−Vcの場合 ここで、X (n) は、現在のフィールド動きベクトルF
MV、Xc (n) は、誤り動きベクトルが抑制された補
償フィールド動きベクトルCFMV、Vcは、最小有効
動きを示す平均誤りベクトル補償値をそれぞれ示す。
ベクトルFMVの微少な実際の振れ成分をも除去するこ
とになり、映像安定化システムの機能を低下させる可能
性もある。そこで、雑音成分を抑制しつつ、同時に映像
安定化システムの効率も満足させられるような処理のた
めに、次のような特性式が提案できる。 Xc (n) =X (n) −Vc…X (n) が正数で、X
(n) ≧Vcの場合 Xc (n) =0…………………X (n) が正数で、X
(n) ≦Vcの場合 Xc (n) =X(n)+Vc…X (n) が負数で、X
(n) ≦−Vcの場合 Xc (n) =0…………………X (n) が負数で、X
(n) ≧−Vcの場合 ここで、X (n) は、現在のフィールド動きベクトルF
MV、Xc (n) は、誤り動きベクトルが抑制された補
償フィールド動きベクトルCFMV、Vcは、最小有効
動きを示す平均誤りベクトル補償値をそれぞれ示す。
【0190】一般的に、平均誤りベクトル補償値Vc
は、信号処理の性能において重要な要素であり、以前累
積動きベクトルPAMVの大きさによる映像停止の有
無、及び、平均最大相関度差Cadによる雑音成分の影
響有無に応じて加重値を組合せて、適応的に範囲を可変
できるようにする。すなわち、以前累積動きベクトルP
AMV及び平均最大相関度差Cadが小さく現れると、
ビデオカメラがほぼ停止されていることを意味するの
で、若干の動きに対応できるように、雑音成分を抑制す
るために誤りベクトル補償値を大きくする。一方、以前
累積動きベクトルPAMV及び平均最大相関度差Cad
がそれぞれ大きく現れると、ビデオカメラの動きが明ら
かなので、誤りベクトル補償値を小さくして、手振れ補
正誤りを最小化する。
は、信号処理の性能において重要な要素であり、以前累
積動きベクトルPAMVの大きさによる映像停止の有
無、及び、平均最大相関度差Cadによる雑音成分の影
響有無に応じて加重値を組合せて、適応的に範囲を可変
できるようにする。すなわち、以前累積動きベクトルP
AMV及び平均最大相関度差Cadが小さく現れると、
ビデオカメラがほぼ停止されていることを意味するの
で、若干の動きに対応できるように、雑音成分を抑制す
るために誤りベクトル補償値を大きくする。一方、以前
累積動きベクトルPAMV及び平均最大相関度差Cad
がそれぞれ大きく現れると、ビデオカメラの動きが明ら
かなので、誤りベクトル補償値を小さくして、手振れ補
正誤りを最小化する。
【0191】図18には、フィールド動きベクトルFM
Vの微細な雑音を取り除くための構成例を示してある。
このようにしてフィールド動きベクトルFMVに含まれ
た誤り動きベクトルを抑制すると、安定した映像データ
を得られることになる。第2実施例では、適応的にフィ
ールド動きベクトルFMVの誤り動きベクトルを抑制す
るために、以前累積動きベクトルPAMV及び平均最大
相関度差Cadによって誤りベクトル補償値を決定す
る。すなわち、以前累積動きベクトルPAMV及び平均
最大相関度差Cadがそれぞれ小さく現れると、カメラ
がほとんど停止されていることを意味するので、雑音を
抑制するために平均誤りベクトル補償値Vcを大きくす
る。一方、以前累積動きベクトルPAMV及び平均最大
相関度差Cadがそれぞれ大きく現れると、カメラの動
きが明らかな状態なので、手振れ補正誤りを最小化する
ために、平均誤りベクトル補償値Vcを小さくする。
Vの微細な雑音を取り除くための構成例を示してある。
このようにしてフィールド動きベクトルFMVに含まれ
た誤り動きベクトルを抑制すると、安定した映像データ
を得られることになる。第2実施例では、適応的にフィ
ールド動きベクトルFMVの誤り動きベクトルを抑制す
るために、以前累積動きベクトルPAMV及び平均最大
相関度差Cadによって誤りベクトル補償値を決定す
る。すなわち、以前累積動きベクトルPAMV及び平均
最大相関度差Cadがそれぞれ小さく現れると、カメラ
がほとんど停止されていることを意味するので、雑音を
抑制するために平均誤りベクトル補償値Vcを大きくす
る。一方、以前累積動きベクトルPAMV及び平均最大
相関度差Cadがそれぞれ大きく現れると、カメラの動
きが明らかな状態なので、手振れ補正誤りを最小化する
ために、平均誤りベクトル補償値Vcを小さくする。
【0192】具体的には、以前累積動きベクトルPAM
Vを受信する第1誤りベクトル補償決定部131が、以
前累積動きベクトルPAMVの最小有効動きを示す誤り
ベクトル補償値を与える。すなわち、第1誤りベクトル
補償決定部131は、図16Aに示したように、以前累
積動きベクトルPAMVの大きさに応じて第1誤りベク
トル補償値C1を与える。また、平均最大相関度差発生
部65から出力される平均最大相関度差Cadを受信す
る第2誤りベクトル補償決定部132が、平均最大相関
度差Cadの最小有効動きを示す誤りベクトル補償値を
与える。すなわち、第2誤りベクトル補償決定部132
は、図16Bに示したように、平均最大相関度差Cad
の大きさに応じて第2誤りベクトル補償値C2を与え
る。つまり、前述のように、平均最大相関度差Cadが
“0”のとき最大0.5を有し、平均最大相関度差Ca
dが徐々に増加するにつれて最小有効動きが減少し、平
均最大相関度差Cadが10を越えると“0”になる。
このように発生される以前累積動きベクトルPAMV及
び平均最大相関度差Cadに対する誤りベクトル補償値
を、それぞれC1及びC2とすれば、加算器133及び
除算器134で、C1及びC2を加算した後に“2”で
割って平均値を求める。この平均値が、誤りベクトル補
償値Vcとなり、すなわち、該平均誤りベクトル補償値
Vcは、 (C1+C2) /2によって求められる。
Vを受信する第1誤りベクトル補償決定部131が、以
前累積動きベクトルPAMVの最小有効動きを示す誤り
ベクトル補償値を与える。すなわち、第1誤りベクトル
補償決定部131は、図16Aに示したように、以前累
積動きベクトルPAMVの大きさに応じて第1誤りベク
トル補償値C1を与える。また、平均最大相関度差発生
部65から出力される平均最大相関度差Cadを受信す
る第2誤りベクトル補償決定部132が、平均最大相関
度差Cadの最小有効動きを示す誤りベクトル補償値を
与える。すなわち、第2誤りベクトル補償決定部132
は、図16Bに示したように、平均最大相関度差Cad
の大きさに応じて第2誤りベクトル補償値C2を与え
る。つまり、前述のように、平均最大相関度差Cadが
“0”のとき最大0.5を有し、平均最大相関度差Ca
dが徐々に増加するにつれて最小有効動きが減少し、平
均最大相関度差Cadが10を越えると“0”になる。
このように発生される以前累積動きベクトルPAMV及
び平均最大相関度差Cadに対する誤りベクトル補償値
を、それぞれC1及びC2とすれば、加算器133及び
除算器134で、C1及びC2を加算した後に“2”で
割って平均値を求める。この平均値が、誤りベクトル補
償値Vcとなり、すなわち、該平均誤りベクトル補償値
Vcは、 (C1+C2) /2によって求められる。
【0193】このようにして平均誤りベクトル補償値V
cが決定されると、上記の特性式により、微細な誤り動
きが抑制処理された補償フィールド動きベクトルCFM
Vを得ることができる。この微細な誤り動きを抑制処理
するために、減算器137は、受信されるフィールド動
きベクトルX (n) と平均誤りベクトル補償値Vcを減
算してX (n) −Vc値を発生し、加算器138は、受
信されるフィールド動きベクトルX (n) と平均誤りベ
クトル補償値Vcを加算してX (n) +Vc値を発生す
る。そして、減算器137及び加算器138の各出力
は、それぞれマルチプレクサ139の第1端子及び第2
端子に印加される。
cが決定されると、上記の特性式により、微細な誤り動
きが抑制処理された補償フィールド動きベクトルCFM
Vを得ることができる。この微細な誤り動きを抑制処理
するために、減算器137は、受信されるフィールド動
きベクトルX (n) と平均誤りベクトル補償値Vcを減
算してX (n) −Vc値を発生し、加算器138は、受
信されるフィールド動きベクトルX (n) と平均誤りベ
クトル補償値Vcを加算してX (n) +Vc値を発生す
る。そして、減算器137及び加算器138の各出力
は、それぞれマルチプレクサ139の第1端子及び第2
端子に印加される。
【0194】一方、ORゲート140は、減算器137
からの符号ビットMSB及び加算器138からの反転さ
れた符号ビットMSBを受信して論理和し、ここで発生
される信号を、マルチプレクサ139のエネーブル信号
として印加する。すなわち、減算器137の符号ビット
MSBが“1”で、加算器138の符号ビットMSBが
“0”の場合、すなわち、フィールド動きベクトルFM
Vが正数で、大きさが平均誤りベクトル補償値Vcより
小さい場合、又は、フィールド動きベクトルFMVが負
数で、平均誤りベクトル補償値Vcより大きい場合に
は、ORゲート140は論理“ハイ”の信号を出力し、
この場合には、マルチプレクサ139がディスエーブル
され、補償フィールド動きベクトルXc (n) を“0”
として出力する。したがって、受信されるフィールド動
きベクトルFMVが、小さい動きベクトル成分を有する
場合には、補償フィールド動きベクトルCFMVをリセ
ットさせて微細な誤り動きを抑制する。
からの符号ビットMSB及び加算器138からの反転さ
れた符号ビットMSBを受信して論理和し、ここで発生
される信号を、マルチプレクサ139のエネーブル信号
として印加する。すなわち、減算器137の符号ビット
MSBが“1”で、加算器138の符号ビットMSBが
“0”の場合、すなわち、フィールド動きベクトルFM
Vが正数で、大きさが平均誤りベクトル補償値Vcより
小さい場合、又は、フィールド動きベクトルFMVが負
数で、平均誤りベクトル補償値Vcより大きい場合に
は、ORゲート140は論理“ハイ”の信号を出力し、
この場合には、マルチプレクサ139がディスエーブル
され、補償フィールド動きベクトルXc (n) を“0”
として出力する。したがって、受信されるフィールド動
きベクトルFMVが、小さい動きベクトル成分を有する
場合には、補償フィールド動きベクトルCFMVをリセ
ットさせて微細な誤り動きを抑制する。
【0195】このような状態を除いた場合には、ORゲ
ート140が、マルチプレクサ139をエネーブルさせ
る。このとき、減算器137から出力される第1補償フ
ィールド動きベクトルX (n) −Vcの符号ビットMS
Bが、マルチプレクサ139の選択信号として印加され
る。したがって、減算器137の出力論理により、マル
チプレクサ139は、受信されるフィールド動きベクト
ルX (n) が正数で、平均誤りベクトル補償値Vcより
大きい場合には、第1端子に受信される第1補償フィー
ルド動きベクトルX (n) −Vc値を補償フィールド動
きベクトルCFMVとして出力し、フィールド動きベク
トルX (n) が負数で、平均誤りベクトル補償値Vcよ
り小さい場合には、第2端子に受信される第2補償フィ
ールド動きベクトルX (n) +Vcを選択し、補償フィ
ールド動きベクトルCFMVとして出力する。結果的
に、出力される補償フィールド動きベクトルCFMV
が、平均誤りベクトル補償値Vcだけ減少した値で出力
されることによって、フィールド動きベクトルFMVに
含まれる雑音成分の微細な動きベクトルを抑制すること
ができる。
ート140が、マルチプレクサ139をエネーブルさせ
る。このとき、減算器137から出力される第1補償フ
ィールド動きベクトルX (n) −Vcの符号ビットMS
Bが、マルチプレクサ139の選択信号として印加され
る。したがって、減算器137の出力論理により、マル
チプレクサ139は、受信されるフィールド動きベクト
ルX (n) が正数で、平均誤りベクトル補償値Vcより
大きい場合には、第1端子に受信される第1補償フィー
ルド動きベクトルX (n) −Vc値を補償フィールド動
きベクトルCFMVとして出力し、フィールド動きベク
トルX (n) が負数で、平均誤りベクトル補償値Vcよ
り小さい場合には、第2端子に受信される第2補償フィ
ールド動きベクトルX (n) +Vcを選択し、補償フィ
ールド動きベクトルCFMVとして出力する。結果的
に、出力される補償フィールド動きベクトルCFMV
が、平均誤りベクトル補償値Vcだけ減少した値で出力
されることによって、フィールド動きベクトルFMVに
含まれる雑音成分の微細な動きベクトルを抑制すること
ができる。
【0196】そして、図19に示すような累積動きベク
トル発生部13が、上記のようにして発生される補償フ
ィールド動きベクトルCFMVを受信して、累積動きベ
クトルAMVを発生する。このとき、補償フィールド動
きベクトルCFMVは、フィールド動きベクトルFMV
に含まれ得る誤り動きベクトルを取り除いたベクトルで
ある。したがって、フィールド動きベクトルFMVに含
まれた微細な雑音成分が抑制されているので、累積動き
ベクトル発生部13は、安定した動作で累積動きベクト
ルAMVを発生できるようになる。この累積動きベクト
ル発生部13の動作は、前述の通りである。
トル発生部13が、上記のようにして発生される補償フ
ィールド動きベクトルCFMVを受信して、累積動きベ
クトルAMVを発生する。このとき、補償フィールド動
きベクトルCFMVは、フィールド動きベクトルFMV
に含まれ得る誤り動きベクトルを取り除いたベクトルで
ある。したがって、フィールド動きベクトルFMVに含
まれた微細な雑音成分が抑制されているので、累積動き
ベクトル発生部13は、安定した動作で累積動きベクト
ルAMVを発生できるようになる。この累積動きベクト
ル発生部13の動作は、前述の通りである。
【0197】以上の結果、フィールド動きベクトルFM
Vに含まれる微細な誤り動きは、フィールド動きベクト
ルFMVの補償過程を通じて除去され、これによって、
累積動きベクトルAMVは、信頼性の高い動きベクトル
成分の信号を、アドレス制御及びズーム処理部14に供
給できる。したがって、アドレス制御及びズーム処理部
14は、累積動きベクトルAMVにより、フィールドメ
モリ15に貯蔵されている映像データのアクセス位置を
正確に制御でき、また、フィールドメモリ15に貯蔵さ
れている映像データを、補間による方法を用いて映像の
一定の部分を拡大して安定したズーム映像を具現するこ
とができる。
Vに含まれる微細な誤り動きは、フィールド動きベクト
ルFMVの補償過程を通じて除去され、これによって、
累積動きベクトルAMVは、信頼性の高い動きベクトル
成分の信号を、アドレス制御及びズーム処理部14に供
給できる。したがって、アドレス制御及びズーム処理部
14は、累積動きベクトルAMVにより、フィールドメ
モリ15に貯蔵されている映像データのアクセス位置を
正確に制御でき、また、フィールドメモリ15に貯蔵さ
れている映像データを、補間による方法を用いて映像の
一定の部分を拡大して安定したズーム映像を具現するこ
とができる。
【0198】
【発明の効果】以上述べてきたように、本発明による映
像安定化システムでは、映像の不規則な現象に適応的に
対処して正確な動きベクトルを決定できる。すなわち、
手振れとパンを識別して減衰係数を切換え、映像特性の
判断及び加重値による適応的なシステムの制御、停止と
手振れ状態の判断による動きベクトルの雑音除去等が可
能となり、ビデオカメラやVCR、テレビジョンカメラ
等に最適である。また、本発明による映像安定化システ
ムは、純粋なハードウェアで具現可能なので、動作時間
の短縮及びシステムの集積化が一層容易に行えるように
なる。
像安定化システムでは、映像の不規則な現象に適応的に
対処して正確な動きベクトルを決定できる。すなわち、
手振れとパンを識別して減衰係数を切換え、映像特性の
判断及び加重値による適応的なシステムの制御、停止と
手振れ状態の判断による動きベクトルの雑音除去等が可
能となり、ビデオカメラやVCR、テレビジョンカメラ
等に最適である。また、本発明による映像安定化システ
ムは、純粋なハードウェアで具現可能なので、動作時間
の短縮及びシステムの集積化が一層容易に行えるように
なる。
【図1】本発明による映像安定化システムの第1実施例
を示す概略構成図。
を示す概略構成図。
【図2】図1に示す局部動きベクトル発生部の構成図。
【図3】図2に示す構成でエッジパターン整合を行うた
めの局部動き検出領域を示す説明図。
めの局部動き検出領域を示す説明図。
【図4】図3中の局部動きベクトル検出領域の画素配列
図。
図。
【図5】第1実施例で使用されるタイミング信号の波形
図。
図。
【図6】図2に示す以前フィールド動き検出領域貯蔵部
及びエッジパターン整合部の構成図。
及びエッジパターン整合部の構成図。
【図7】図2に示す局部動き判断部の構成図。
【図8】図1に示すフィールド動きベクトル発生部の構
成図。
成図。
【図9】図8に示す加重値発生部の構成図。
【図10】不安定な映像に対する相関度データと映像デ
ータの関係を示す特性図。
ータの関係を示す特性図。
【図11】Aは、図9に示す回路における孤立度加重値
と孤立度との間の特性、Bは、図9に示す回路における
安定度加重値と安定度との間の特性をそれぞれ示す図。
と孤立度との間の特性、Bは、図9に示す回路における
安定度加重値と安定度との間の特性をそれぞれ示す図。
【図12】図8に示すフィールド動きベクトル決定部の
構成図。
構成図。
【図13】図1に示す累積動きベクトル発生部の構成
図。
図。
【図14】図13に示す回路で累積動きベクトルが発生
される際の要部での波形図。
される際の要部での波形図。
【図15】図1に示す補償累積動きベクトル発生部の構
成図。
成図。
【図16】Aは、図15に示す回路における第1誤りベ
クトル補償値と累積動きベクトルとの関係、Bは、図1
5に示す回路における第2誤りベクトル補償値と平均最
大相関度差との関係をそれぞれ示す図。
クトル補償値と累積動きベクトルとの関係、Bは、図1
5に示す回路における第2誤りベクトル補償値と平均最
大相関度差との関係をそれぞれ示す図。
【図17】本発明による映像安定化システムの第2実施
例を示す概略構成図。
例を示す概略構成図。
【図18】図17に示す補償フィールド動きベクトル発
生部の構成図。
生部の構成図。
【図19】図17に示す累積動きベクトル発生部の構成
図。
図。
11 局部動きベクトル発生部 12 フィールド動きベクトル発生部 13 累積動きベクトル発生部 14 アドレス制御及びズーム処理部 15 フィールドメモリ 16 補償累積動きベクトル発生部 17 補償フィールド動きベクトル発生部 21 エッジ検出部 22 以前フィールド動き検出領域貯蔵部 23 エッジパターン整合部 24 局部動き判断部 61 加重値発生部 62 フィールド動きベクトル決定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/30 11/04 B 9185−5C D 9185−5C 特許法第30条第1項適用申請有り 1992年8月、IEE E コンシューマー エレクトロニクス ソサイエティ 発行の「IEEE TRANSACTIONS ON CONSUMER ELECTRONICS VOLU ME38 NUMBER3」に発表
Claims (22)
- 【請求項1】 フィールド単位で映像データを貯蔵する
メモリと、受信される補償累積動きベクトルにより前記
メモリに貯蔵されている映像データの動きを補正する制
御部を備える映像安定化装置において、 映像データを受信し、局部動き検出領域の単位で、以前
フィールドの基準ブロック映像データと現在のフィール
ドの比較ブロック映像データとをパターン整合して相関
度データを順次に発生し、これら相関度データを分析し
て、対応する局部動き検出領域の局部動きベクトル及び
統計的変数を順次に発生する手段と、 前記局部動きベクトル及び統計的変数を受信し、局部動
きベクトルを分析して予め設定した割合に対応する局部
動きベクトルの加重値を発生し、統計的変数を分析して
信頼性を判断した後に、対応する局部動きベクトルに加
重値を与え、加重値が与えられた局部動きベクトルを平
均化してフィールド動きベクトルを発生する手段と、 減衰手段を有してなり、前記フィールド動きベクトルを
受信し、そのフィールド動きベクトルを減衰手段から出
力される減衰した累積動きベクトルに累積して累積動き
ベクトルを発生する手段と、 前記累積動きベクトルを受信し、受信された累積動きベ
クトルの大きさにより予め設定された割合に対応する誤
り動き補償値を適応的に発生し、累積動きベクトルを誤
り動き補償値だけ減少させる補償累積動きベクトルを発
生する補償累積動きベクトル発生手段と、を備えている
ことを特徴とする映像安定化装置。 - 【請求項2】 局部動きベクトル及び統計的変数を発生
する手段は、 映像データを分析し、フィールド単位の映像データを2
進エッジデータに変換するエッジ検出手段と、 少なくとも2個の局部動き検出領域の基準ブロックデー
タの貯蔵手段を備えて2進エッジデータを受信し、局部
動き検出領域から基準ブロック位置の2進エッジデータ
を抽出して順次に貯蔵する手段と、 エッジ検出手段から出力される現在のフィールドの2進
エッジデータをブロック単位で抽出し、取出された比較
ブロックデータと前記貯蔵手段から出力される以前フィ
ールドの基準ブロックデータのエッジパターンとを整合
させ、対応する局部動き検出領域の相関度データを順次
に発生するエッジパターン整合手段と、 前記相関度データを分析して対応する局部動き検出領域
の最大相関度値を有する位置情報を局部動きベクトルに
決定すると共に、少なくとも、最大相関度、第2最大相
関度、最大相関度差、平均相関度、及び平均最大相関度
差を統計的変数として発生する局部動き判断手段と、か
ら構成される請求項1記載の映像安定化装置。 - 【請求項3】 フィールド動きベクトルを発生する手段
は、 統計的変数を受信し、局部動き検出領域の単位で統計的
変数を予め設定したしきい値と比較して、映像データの
信頼性を低下させる非正常条件の発生有無を判断する信
頼性判断手段と、 局部動きベクトルを分析して予め設定した割合に対応す
る局部動きベクトルの加重値を発生し、前記非正常条件
を示す信号の受信時に、対応する局部動きベクトルの加
重値の出力を停止する加重値発生手段と、 局部動きベクトルにそれぞれ対応する加重値を与え、そ
れら加重値が与えられた局部動きベクトルを平均化して
フィールド動きベクトルを発生するフィールド動き決定
手段と、から構成される請求項2記載の映像安定化装
置。 - 【請求項4】 局部動き判断手段は、 受信される相関度データと対応する局部動き検出領域の
最大相関度とを比較して、相関度データが大きいときに
は第1比較信号を発生する比較手段と、受信される相関
度データ及び前記比較手段の出力を受信し、第1比較信
号の受信時に受信される相関度データを最大相関度とし
て発生する手段と、該最大相関度発生手段及び前記比較
手段の各出力を受信し、第1比較信号の受信時に以前の
最大相関度を第2最大相関度として発生する手段と、最
大相関度と第2最大相関度との差から最大相関度差を発
生する手段と、受信される相関度データを以前の相関度
データと加算し、加算された相関度データを候補動きベ
クトルの数で割って平均相関度を発生する手段と、から
なり、対応する局部動き検出領域の統計的変数を発生す
る手段、及びアドレスクロック及び前記比較手段の出力
を受信し、該アドレスクロックを計数して受信される相
関度データの位置値を発生し、第1比較信号の受信時に
受信される相関度データの位置値を該当局部動き検出領
域の局部動きベクトルとして発生する局部動きベクトル
検出手段から構成される請求項3記載の映像安定化装
置。 - 【請求項5】 加重値信号発生手段は、 局部動きベクトル及び平均局部動きベクトルを受信し、
二つの動きベクトルの差によって孤立度を計算し、計算
された孤立度により予め設定された割合で孤立度が大き
いときには加重値を小さく与え、孤立度が小さいときに
は加重値を大きく与えて適応的に孤立度加重値信号を発
生する手段と、 局部動きベクトル及び以前フィールド動きベクトルを受
信し、二つの動きベクトルの差によって安定度を計算
し、計算された安定度により予め設定された割合で安定
度が大きいときには加重値を小さく与え、安定度が小さ
いときには加重値を大きく与えて適応的に安定度加重値
信号を発生する手段と、 前記孤立度加重値信号及び安定度加重値信号を受信する
と共に、信頼性判断手段の出力を制御信号として受信
し、受信される二つの加重値を平均化して対応する局部
動きベクトルの加重値信号を発生する手段と、を備えて
なる請求項4記載の映像安定化装置。 - 【請求項6】 フィールド動き決定手段は、 順次に受信される局部動きベクトルとそれぞれ対応する
加重値とを乗算して加重値が与えられた局部動きベクト
ルを発生する手段と、 前記加重値を加算する手段と、 前記加重値が与えられた局部動きベクトルを加算し、そ
の加算された局部動きベクトルを前記加算された加重値
で割ってフィールド動きベクトルを発生する手段と、か
ら構成される請求項5記載の映像安定化装置。 - 【請求項7】 累積動きベクトルを発生する手段は、 以前累積動きベクトルを入力として第1減衰係数で減衰
する手段と、 前記以前累積動きベクトルを入力として第1減衰係数よ
り小さい値を有する第2減衰係数で減衰する手段と、 フィールド動きベクトルを受信し、受信されたフィール
ド動きベクトルを分析して所定のフレーム以上の同一方
向の動きベクトルが発生されるとき、パンとみなしてパ
ン識別信号信号を発生するパン識別手段と、 前記第1減衰係数での減衰手段及び第2減衰係数での減
衰手段の各出力を受信して選択的に出力するようにさ
れ、前記パン識別信号を選択信号として受信し、パン識
別信号の受信時には、前記第2減衰係数での減衰手段の
出力を選択する手段と、 この選択手段の出力及び前記フィールド動きベクトルを
受信し、二つの信号を加算して累積動きベクトルを発生
する手段と、を備えている請求項6記載の映像安定化装
置。 - 【請求項8】 補償累積動きベクトルを発生する手段
は、 累積動きベクトルを受信し、受信された累積動きベクト
ルの大きさを検査して大きさにより、予め設定された割
合で小さい大きさを有するときには誤り動き補償値を大
きくし、大きい大きさを有するときには誤り動き補償値
を小さくして適応的に誤り動き補償値を発生する手段
と、 前記誤り動き補償値及び累積動きベクトルを受信し、受
信された累積動きベクトルと誤り動き補償値を減算して
第1補償累積動きベクトルを発生する手段と、 前記誤り動き補償値及び累積動きベクトルを受信し、受
信された累積動きベクトルと誤り動き補償値を加算して
第2補償累積動きベクトルを発生する手段と、 前記誤り動き補償値と累積動きベクトルの大きさを比較
し、該累積動きベクトルが正数で誤り動き補償値より大
きいと第1補償累積動きベクトルを選択出力し、累積動
きベクトルが正数で誤り動き補償値より小さいと補償累
積動きベクトル値をリセットさせ、累積動きベクトルが
負数で誤り動き補償値より小さいと第2補償累積動きベ
クトルを選択出力し、累積動きベクトルが負数で誤り動
き補償値より大きいと補償累積動きベクトルをリセット
させる手段と、から構成される請求項7記載の映像安定
化装置。 - 【請求項9】 補償累積動きベクトルを発生する手段
は、 累積動きベクトルを受信し、受信された累積動きベクト
ルの大きさを検査して大きさにより、予め設定された割
合で小さい大きさを有するときには誤り動き補償値を大
きくし、大きい大きさを有するときには誤り動き補償値
を小さくして適応的に第1誤り動き補償値を発生する手
段と、 各局部動き検出領域から発生される最大相関度差を受信
して1フィールドの平均最大相関度差を発生する手段を
備え、平均最大相関度差の大きさを検査して大きさによ
り、予め設定された割合で小さい大きさを有するときに
は誤り動き補償値を大きくし、大きい大きさを有すると
きには誤り動き補償値を小さくして適応的に第2誤り動
き補償値を発生する手段と、 前記第1誤り動き補償値及び第2誤り動き補償値を平均
化して誤り動き補償値を発生する手段と、 前記平均化した誤り動き補償値及び累積動きベクトルを
受信し、受信された累積動きベクトルと誤り動き補償値
を減算して第1補償累積動きベクトルを発生する手段
と、 前記平均化した誤り動き補償値及び累積動きベクトルを
受信し、受信された累積動きベクトルと誤り動き補償値
を加算して第2補償累積動きベクトルを発生する手段
と、 前記誤り動き補償値と累積動きベクトルの大きさを比較
し、該累積動きベクトルが正数で誤り動き補償値より大
きいと第1補償累積動きベクトルを選択出力し、累積動
きベクトルが正数で誤り動き補償値より小さいと補償累
積動きベクトル値をリセットさせ、累積動きベクトルが
負数で誤り動き補償値より小さいと第2補償累積動きベ
クトルを選択出力し、累積動きベクトルが負数で誤り動
き補償値より大きいと補償累積動きベクトルをリセット
させる手段と、から構成される請求項7記載の映像安定
化装置。 - 【請求項10】 フィールド単位で映像データを貯蔵す
るメモリと、受信される累積動きベクトルにより前記メ
モリに貯蔵されている映像データの動きを補正する制御
部を備える映像安定化装置において、 映像データを受信し、局部動き検出領域の単位で、以前
フィールドの基準ブロック映像データと現在のフィール
ドの比較ブロック映像データとをパターン整合して相関
度データを順次に発生し、これら相関度データを分析し
て、対応する局部動き検出領域の局部動きベクトル及び
統計的変数を順次に発生する手段と、 前記局部動きベクトル及び統計的変数を受信し、受信さ
れた局部動きベクトルを分析して予め設定された割合に
対応する局部動きベクトルの加重値を発生し、統計的変
数を分析して信頼性を判断した後に、対応する局部動き
ベクトルに加重値を与え、加重値が与えられた局部動き
ベクトルを平均化してフィールド動きベクトルを発生す
る手段と、 前記フィールド動きベクトル及び以前累積動きベクトル
を受信し、以前累積動きベクトルの大きさにより予め設
定された割合に対応する誤り動き補償値を適応的に発生
し、フィールド動きベクトルを誤り動き補償値だけ減少
させ誤検出動きが抑制される補償フィールド動きベクト
ルを発生する手段と、 減衰手段を有してなり、前記補償フィールド動きベクト
ルを受信し、減衰手段から出力される以前累積動きベク
トルと受信される補償フィールド動きベクトルとを累積
して累積動きベクトルを発生する手段と、を備えている
ことを特徴とする映像安定化装置。 - 【請求項11】 局部動きベクトル及び統計的変数を発
生する手段は、 映像データを分析してフィールド単位の映像データを2
進エッジデータに変換するエッジ検出手段と、 少なくとも2個の局部動き検出領域の基準ブロックデー
タの貯蔵手段を備え、前記2進エッジデータを受信し、
局部動き検出領域から基準ブロック位置の2進エッジデ
ータを抽出して順次に貯蔵する手段と、 エッジ検出手段から出力される現在のフィールドの2進
エッジデータをブロック単位で抽出し、取出された比較
ブロックデータと前記貯蔵手段から出力される以前フィ
ールドの基準ブロックデータのエッジパターンとを整合
させ、対応する局部動き検出領域の相関度データを順次
に発生するエッジパターン整合手段と、 前記相関度データを分析して対応する局部動き検出領域
の最大相関度値を有する位置情報を局部動きベクトルに
決定すると共に、少なくとも、最大相関度、第2最大相
関度、最大相関度差、平均相関度、及び平均最大相関度
差を統計的変数として発生する局部動き判断手段と、か
ら構成される請求項10記載の映像安定化装置。 - 【請求項12】 フィールド動きベクトルを発生する手
段は、 統計的変数を受信し、受信された局部動き検出領域の単
位で統計的変数を予め設定したしきい値と比較して、映
像データの信頼性を低下させる非正常条件の発生有無を
判断する信頼性判断手段と、 局部動きベクトルを分析して予め設定した割合に対応す
る局部動きベクトルの加重値を発生し、前記非正常条件
を示す信号の受信時に、対応する局部動きベクトルの加
重値の出力を停止する加重値発生手段と、 局部動きベクトルにそれぞれ対応する加重値を与え、そ
れら加重値が与えられる局部動きベクトルを平均化して
フィールド動きベクトルを発生するフィールド動き決定
手段と、から構成される請求項11記載の映像安定化装
置。 - 【請求項13】 局部動き判断手段は、 受信される相関度データと対応する局部動き検出領域の
最大相関度とを比較して、相関度データが大きいときに
は第1比較信号を発生する比較手段と、受信される相関
度データ及び前記比較手段の出力を受信し、第1比較信
号の受信時に受信される相関度データを最大相関度とし
て発生する手段と、該最大相関度発生手段及び前記比較
手段の各出力を受信し、第1比較信号の受信時に以前の
最大相関度を第2最大相関度として発生する手段と、最
大相関度と第2最大相関度との差から最大相関度差を発
生する手段と、受信される相関度データを以前の相関度
データと加算し、加算された相関度データを候補動きベ
クトルの数で割って平均相関度を発生する手段と、から
なり、対応する局部動き検出領域の統計的変数を発生す
る手段、及びアドレスクロック及び前記比較手段の出力
を受信し、該アドレスクロックを計数して受信される相
関度データの位置値を発生し、第1比較信号の受信時に
受信される相関度データの位置値を該当局部動き検出領
域の局部動きベクトルとして発生する局部動きベクトル
検出手段から構成される請求項12記載の映像安定化装
置。 - 【請求項14】 信頼性判断手段は、 平均相関度と低いコントラストの基準値である第1しき
い値とを比較し、該平均相関度が第1しきい値より小さ
いときには非正常信号を発生する第1比較手段と、 最大相関度と平均相関度を減算して差信号を発生し、該
差信号と動く物体を判断するための基準値である第2し
きい値とを比較して、差信号が第2しきい値より小さい
ときには非正常信号を発生する第2比較手段と、 最大相関度と第2最大相関度を減算して差信号を発生
し、該差信号と反復的な映像を判断するための基準値で
ある第3しきい値とを比較して、差信号が第3しきい値
より小さいときには非正常信号を発生する第3比較手段
と、から構成される請求項13記載の映像安定化装置。 - 【請求項15】 加重値信号発生手段は、 局部動きベクトル及び平均局部動きベクトルを受信し、
二つの動きベクトルの差によって孤立度を計算し、計算
された孤立度により予め設定された割合で孤立度が大き
いときには加重値を小さく与え、孤立度が小さいときに
は加重値を大きく与えて適応的に孤立度加重値信号を発
生する手段と、 局部動きベクトル及び以前フィールド動きベクトルを受
信し、二つの動きベクトルの差によって安定度を計算
し、計算された安定度により予め設定された割合で安定
度が大きいときには加重値を小さく与え、安定度が小さ
いときには加重値を大きく与えて適応的に安定度加重値
信号を発生する手段と、 前記孤立度加重値信号及び安定度加重値信号を受信する
と共に、信頼性判断手段の出力を制御信号として受信
し、受信される二つの加重値を平均化して対応する局部
動きベクトルの加重値信号を発生する手段と、を備えて
なる請求項14記載の映像安定化装置。 - 【請求項16】 フィールド動き決定手段は、 順次に受信される局部動きベクトルとそれぞれ対応する
加重値とを乗算して加重値が与えられる局部動きベクト
ルを発生する手段と、 前記加重値を加算する手段と、 前記加重値が与えられた局部動きベクトルを加算し、そ
の加算された局部動きベクトルを前記加算された加重値
で割ってフィールド動きベクトルを発生する手段と、か
ら構成される請求項15記載の映像安定化装置。 - 【請求項17】 補償フィールド動きベクトルを発生す
る手段は、 以前累積動きベクトルを受信し、受信された以前累積動
きベクトルの大きさを検査して大きさにより予め設定さ
れた割合で、小さい大きさを有するときには誤り動き補
償値を大きくし、大きい大きさを有するときには誤り動
き補償値を小さくして適応的に誤り動き補償値を発生す
る手段と、 前記誤り動き補償値及びフィールド動きベクトルを受信
し、受信されたフィールド動きベクトルと誤り動き補償
値を減算して第1補償フィールド動きベクトルを発生す
る手段と、 前記誤り動き補償値及びフィールド動きベクトルを受信
し、受信されたフィールド動きベクトルと誤り動き補償
値を加算して第2補償フィールド動きベクトルを発生す
る手段と、 前記誤り動き補償値とフィールド動きベクトルの大きさ
を比較し、該フィールド動きベクトルが正数で誤り動き
補償値より大きいと第1補償フィールド動きベクトルを
選択出力し、フィールド動きベクトルが正数で誤り動き
補償値より小さいと補償フィールド動きベクトル値をリ
セットさせ、フィールド動きベクトルが負数で誤り動き
補償値より小さいと第2補償フィールド動きベクトルを
選択出力し、フィールド動きベクトルが負数で誤り動き
補償値より大きいと補償フィールド動きベクトルをリセ
ットさせる手段と、から構成される請求項16記載の映
像安定化装置。 - 【請求項18】 補償フィールド動きベクトルを発生す
る手段は、 以前累積動きベクトルを受信し、受信された以前累積動
きベクトルの大きさを検査して大きさにより予め設定さ
れた割合で、小さい大きさを有するときには誤り動き補
償値を大きくし、大きい大きさを有するときには誤り動
き補償値を小さくして適応的に第1誤り動き補償値を発
生する手段と、 各局部動き検出領域から発生される最大相関度差を受信
して1フィールドの平均最大相関度差を発生する手段を
備え、平均最大相関度差の大きさを検査してその大きさ
により予め設定された割合で小さい大きさを有するとき
には誤り動き補償値を大きくし、大きい大きさを有する
ときには誤り動き補償値を小さくして適応的に第2誤り
動き補償値を発生する手段と、 前記第1誤り動き補償値及び前記第2誤り動き補償値を
平均化して誤り動き補償値を発生する手段と、 前記平均化した誤り動き補償値とフィールド動きベクト
ルを受信し、受信されたフィールド動きベクトルと誤り
動き補償値を減算して第1補償フィールド動きベクトル
を発生する手段と、 前記平均化した誤り動き補償値とフィールド動きベクト
ルを受信し、受信されたフィールド動きベクトルと誤り
動き補償値を加算して第2補償フィールド動きベクトル
を発生する手段と、 前記誤り動き補償値とフィールド動きベクトルの大きさ
を比較し、該フィールド動きベクトルが正数で誤り動き
補償値より大きいと第1補償フィールド動きベクトルを
選択出力し、フィールド動きベクトルが正数で誤り動き
補償値より小さいと補償フィールド動きベクトルの値を
リセットさせ、フィールド動きベクトルが負数で誤り動
き補償値より小さいと第2補償フィールド動きベクトル
を選択出力し、フィールド動きベクトルが負数で誤り動
き補償値より大きいと補償フィールド動きベクトルをリ
セットさせる手段と、から構成される請求項16記載の
映像安定化装置。 - 【請求項19】 累積動きベクトルを発生する手段は、 以前累積動きベクトルを入力として第1減衰係数で減衰
する手段と、 前記以前累積動きベクトルを入力として前記第1減衰係
数より小さい値を有する第2減衰係数で減衰する手段
と、 フィールド動きベクトルと相関度データを受信し、受信
されたフィールド動きベクトル及び相関度データを分析
して所定のフレーム以上の同一方向の動きベクトルが発
生されるとき、パンとみなしてパン識別信号を発生する
パン識別手段と、 前記第1減衰係数での減衰手段及び第2減衰係数での減
衰手段の各出力を受信して選択的に出力するようにさ
れ、前記パン識別信号を選択信号として受信し、パン識
別信号の受信時には、前記第2減衰係数での減衰手段の
出力を選択する手段と、 この選択手段の出力及び前記補償フィールド動きベクト
ルを受信し、二つの信号を加算して累積動きベクトルを
発生する手段と、を備えている請求項18記載の映像安
定化装置。 - 【請求項20】 累積動きベクトルを発生する手段は、 以前累積動きベクトルを入力として第1減衰係数で減衰
する手段と、 前記以前累積動きベクトルを入力として前記第1減衰係
数より小さい値を有する第2減衰係数で減衰する手段
と、 フィールド動きベクトルと相関度データを受信し、受信
されたフィールド動きベクトル及び相関度データを分析
して所定のフレーム以上の同一方向の動きベクトルが発
生されるとき、パンとみなしてパン識別信号を発生する
パン識別手段と、 前記第1減衰係数での減衰手段及び第2減衰係数での減
衰手段の各出力を受信して選択的に出力するようにさ
れ、前記パン識別信号を選択信号として受信し、パン識
別信号の受信時には、前記第2減衰係数での減衰手段の
出力を選択する手段と、 この選択手段の出力及び前記補償フィールド動きベクト
ルを受信し、二つの信号を加算して累積動きベクトルを
発生する手段と、 この加算手段の出力側に設けられ、累積動きベクトルが
動きベクトルの最大補正領域を超過するときに該累積動
きベクトルを一定の値に維持させるリミッタと、を備え
ている請求項18記載の映像安定化装置。 - 【請求項21】 フィールド単位で映像データを貯蔵す
るメモリと、受信される補償累積動きベクトルにより前
記メモリに貯蔵されている映像データの動きを補正する
制御部を備えるディジタル映像安定化システムの適応形
動きベクトルの決定方法において、 受信されるフィールド単位の映像データを、2進エッジ
データに変換する過程と、 前記2進エッジデータを受信して局部動き検出領域の基
準ブロックデータを取出し、対応する基準データの貯蔵
領域に順次に貯蔵する過程と、 前記変換される現在のフィールドの2進エッジデータを
比較ブロックデータとして受信し、対応する局部動き検
出領域の基準ブロックデータとパターン整合して局部動
き検出領域単位の相関度データを順次に発生する過程
と、 この順次に受信される相関度データを分析して該当する
局部動き検出領域の統計的変数及び局部動きベクトルを
発生し、前記局部動き領域の探索終了信号の受信時にリ
セットを行う過程と、 受信される局部動きベクトル及び統計的変数を順次に貯
蔵する過程と、 フィールドの探索終了信号を受信するときに貯蔵されて
いる局部動きベクトルを順次に検査して孤立度及び安定
度の加重値信号を発生し、統計的変数を順次に分析して
映像データの状態を分析し、前記加重値信号の出力を制
御する過程と、 順次に受信される局部動きベクトルと対応する加重値信
号を乗算し、これをフィールド周期で平均化してフィー
ルド動きベクトルを発生する過程と、 以前累積動きベクトルを予め設定された割合で減衰し、
減衰した以前累積動きベクトルとフィールド動きベクト
ルを加算して累積動きベクトルを発生する過程と、 累積動きベクトルの大きさを分析して予め設定された割
合により誤り動き補償値を発生し、この誤り動き補償値
で累積動きベクトルを減少させ誤り動きベクトルを抑制
する補償累積動きベクトルを発生する過程と、を含んで
なることを特徴とする映像安定化方法。 - 【請求項22】 フィールド単位で映像データを貯蔵す
るメモリと、受信される累積動きベクトルにより前記メ
モリに貯蔵されている映像データの動きを補正する制御
部を備えるディジタル映像安定化システムの適応形動き
ベクトルの決定方法において、 受信されるフィールド単位の映像データを、2進エッジ
データに変換する過程と、 前記2進エッジデータを受信して局部動き検出領域の基
準ブロックデータを抽出し、対応する基準データの貯蔵
領域に順次に貯蔵する過程と、 前記変換される現在のフィールドの2進エッジデータを
比較ブロックデータとして受信し、対応する局部動き検
出領域の基準ブロックデータとパターン整合して局部動
き検出領域単位の相関度データを順次に発生する過程
と、 この順次に受信される相関度データを分析して該当する
局部動き検出領域の統計的変数及び局部動きベクトルを
発生し、前記局部動き領域の探索終了信号を受信すると
きにリセットを行う過程と、 受信される局部動きベクトル及び統計的変数を順次に貯
蔵する過程と、 フィールドの探索終了信号の受信時に貯蔵されている局
部動きベクトルを順次に検査して孤立度及び安定度の加
重値信号を発生し、統計的変数を順次に分析して映像デ
ータの状態を分析して加重値信号の出力を制御する過程
と、 順次に受信される局部動きベクトルと対応する加重値信
号を乗算し、これをフィールド周期で平均化してフィー
ルド動きベクトルを発生する過程と、 以前累積動きベクトルの大きさを分析して予め設定され
た割合によって誤り動き補償値を発生し、該誤り動き補
償値でフィールド動きベクトルを減少させて誤り動きベ
クトルを抑制する補償フィールド動きベクトルを発生す
る過程と、 以前累積動きベクトルを予め設定された割合で減衰し、
減衰した以前累積動きベクトルと補償フィールド動きベ
クトルを加算して累積動きベクトルを発生する過程と、
を含んでなることを特徴とする映像安定化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP28049993A JPH07284016A (ja) | 1992-10-13 | 1993-10-13 | ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置 |
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR920018833 | 1992-10-13 | ||
JP5-72736 | 1993-02-15 | ||
JP7273693 | 1993-02-15 | ||
JP1993P2996 | 1993-02-15 | ||
JP1992P18833 | 1993-02-15 | ||
KR1019930002996A KR970004927B1 (ko) | 1993-02-27 | 1993-02-27 | 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치 |
JP28049993A JPH07284016A (ja) | 1992-10-13 | 1993-10-13 | ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07284016A true JPH07284016A (ja) | 1995-10-27 |
Family
ID=27465505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP28049993A Pending JPH07284016A (ja) | 1992-10-13 | 1993-10-13 | ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07284016A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197360A (ja) * | 1999-12-29 | 2001-07-19 | Eastman Kodak Co | ディジタル画像シーケンス用の自動安定化方法 |
JP2005354218A (ja) * | 2004-06-08 | 2005-12-22 | Nikon Corp | ブレ補正装置、およびカメラシステム |
JP2007516679A (ja) * | 2003-12-23 | 2007-06-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオデータを安定させるための方法及びシステム |
JP2008517488A (ja) * | 2004-09-15 | 2008-05-22 | レイセオン・カンパニー | ミサイル探索装置のflirとミサイルボアサイトの相関および非均一性補償 |
WO2008126252A1 (ja) * | 2007-03-30 | 2008-10-23 | Pioneer Corporation | 画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体 |
-
1993
- 1993-10-13 JP JP28049993A patent/JPH07284016A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001197360A (ja) * | 1999-12-29 | 2001-07-19 | Eastman Kodak Co | ディジタル画像シーケンス用の自動安定化方法 |
JP4570244B2 (ja) * | 1999-12-29 | 2010-10-27 | イーストマン コダック カンパニー | ディジタル画像シーケンス用の自動安定化方法 |
JP2007516679A (ja) * | 2003-12-23 | 2007-06-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオデータを安定させるための方法及びシステム |
JP2005354218A (ja) * | 2004-06-08 | 2005-12-22 | Nikon Corp | ブレ補正装置、およびカメラシステム |
JP2008517488A (ja) * | 2004-09-15 | 2008-05-22 | レイセオン・カンパニー | ミサイル探索装置のflirとミサイルボアサイトの相関および非均一性補償 |
WO2008126252A1 (ja) * | 2007-03-30 | 2008-10-23 | Pioneer Corporation | 画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体 |
JPWO2008126252A1 (ja) * | 2007-03-30 | 2010-07-22 | パイオニア株式会社 | 画像生成装置、画像生成方法、画像生成プログラムおよびコンピュータに読み取り可能な記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6535244B1 (en) | Image stabilizing apparatus using bit-plane matching and image stabilizing method using the same | |
US5712474A (en) | Image processing apparatus for correcting blurring of an image photographed by a video camera | |
KR930002613B1 (ko) | 화상의 움직임벡터검출장치 | |
US7489341B2 (en) | Method to stabilize digital video motion | |
EP2188979A2 (en) | Method and apparatus for motion estimation in video image data | |
US20050129124A1 (en) | Adaptive motion compensated interpolating method and apparatus | |
JP2507138B2 (ja) | 動きベクトル検出装置及び画像揺れ補正装置 | |
JP2860702B2 (ja) | 動きベクトル検出装置 | |
US6982755B1 (en) | Image sensing apparatus having variable noise reduction control based on zoom operation mode | |
JPH07284016A (ja) | ディジタル映像安定化システムの適応形動きベクトルの決定方法及び装置 | |
KR970004927B1 (ko) | 디지탈 영상 안정화 시스템의 적응형 움직임 벡터 결정 방법 및 장치 | |
WO1992007443A1 (en) | Picture movement detector | |
JP2000278592A (ja) | 撮像装置、その制御方法および記憶媒体 | |
JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
JP2004320279A (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
JP4289170B2 (ja) | ノイズ量測定装置および映像受像機 | |
JP2792767B2 (ja) | 撮像装置 | |
JP3265590B2 (ja) | 画像の動きベクトル検出装置及び画像揺れ補正装置 | |
JPH07107367A (ja) | 画像処理装置 | |
JPH0767021A (ja) | 画像動き補正装置 | |
JP2825377B2 (ja) | 動きベクトル検出装置及びカメラ一体型手振れ補正装置 | |
JP3520199B2 (ja) | フラッシュ映像検出回路 | |
JP2000022991A (ja) | ノイズ低減装置及びノイズ低減プログラムを記録した記録媒体 | |
JPH05176218A (ja) | 画像動き補正装置 | |
JP3252411B2 (ja) | 画像の振動補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20011030 |