JPH06197264A - ディジタル映像安定化方法及びシステム - Google Patents
ディジタル映像安定化方法及びシステムInfo
- Publication number
- JPH06197264A JPH06197264A JP5212905A JP21290593A JPH06197264A JP H06197264 A JPH06197264 A JP H06197264A JP 5212905 A JP5212905 A JP 5212905A JP 21290593 A JP21290593 A JP 21290593A JP H06197264 A JPH06197264 A JP H06197264A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- field
- generating
- edge
- accumulated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
- H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
- H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
Abstract
(57)【要約】
【構成】多数のビットディジタル映像データを二進エッ
ジデータに変形するエッジ検出段階、二進エッジデータ
とローカルモーションベクトル（ＬＭＶ）候補の相関値
を発生するためのエッジパターンマッチング段階、一つ
又は二つ以上の対応するモーション抽出領域対から最大
相関値を提供するそれぞれ当たるモーションベクトル
（ＭＶ）を発生するためのＬＭＶ発生段階、ＬＭＶの加
重値の平均によりフィールドＭＶ（ＦＭＶ）を発生する
ためのＦＭＶ発生段階、現在と過去のＦＭＶの順次的な
加重値の蓄積を使用することにより蓄積されたＭＶを発
生するための蓄積されたＭＶ発生段階、前記蓄積された
ＭＶを使用しフィールドメモリ（ＦＭ）読み出しアドレ
スを計算するＦＭ読み出しアドレス発生段階、正常的で
ない境界を除くために映像を拡大するディジタルズーミ
ング段階からなる。 【効果】回路構成が簡単になり値段が安くなる。又、映
像の安定度が高まる。
ジデータに変形するエッジ検出段階、二進エッジデータ
とローカルモーションベクトル（ＬＭＶ）候補の相関値
を発生するためのエッジパターンマッチング段階、一つ
又は二つ以上の対応するモーション抽出領域対から最大
相関値を提供するそれぞれ当たるモーションベクトル
（ＭＶ）を発生するためのＬＭＶ発生段階、ＬＭＶの加
重値の平均によりフィールドＭＶ（ＦＭＶ）を発生する
ためのＦＭＶ発生段階、現在と過去のＦＭＶの順次的な
加重値の蓄積を使用することにより蓄積されたＭＶを発
生するための蓄積されたＭＶ発生段階、前記蓄積された
ＭＶを使用しフィールドメモリ（ＦＭ）読み出しアドレ
スを計算するＦＭ読み出しアドレス発生段階、正常的で
ない境界を除くために映像を拡大するディジタルズーミ
ング段階からなる。 【効果】回路構成が簡単になり値段が安くなる。又、映
像の安定度が高まる。
Description
【０００１】
【産業上の利用分野】本発明はディジタル映像処理シス
テムに係り、特に二進化輪郭映像を使用したディジタル
映像安定化システムに関する。
テムに係り、特に二進化輪郭映像を使用したディジタル
映像安定化システムに関する。
【０００２】
【従来の技術】多くの映像処理システムにおいて、一番
大事な要求の一つは動的映像の安定したディズプレイで
ある。多様な映像安定化システムが提案され、それぞれ
種々の用途で開発されている。
大事な要求の一つは動的映像の安定したディズプレイで
ある。多様な映像安定化システムが提案され、それぞれ
種々の用途で開発されている。
【０００３】次は従来の映像安定化方法及びシステムを
示す。
示す。
【０００４】ホルダ（Holder）らにより発明され米国特
許第４，６３７，５７１号に開示された誘導ミサイルの
目標追跡システムのための電子映像安定化の方法は、
ミサイル胴体の揺れを感知する段階、前記揺れに応答
し角速度信号を提供する段階、ミサイル目標追跡機に
安定した映像出力を提供するため、望ましくないミサイ
ル胴体の揺れを打ち消すように、反対方向へ前記角速度
信号をカメラ垂直水平偏向コイルに結合する段階からな
る。
許第４，６３７，５７１号に開示された誘導ミサイルの
目標追跡システムのための電子映像安定化の方法は、
ミサイル胴体の揺れを感知する段階、前記揺れに応答
し角速度信号を提供する段階、ミサイル目標追跡機に
安定した映像出力を提供するため、望ましくないミサイ
ル胴体の揺れを打ち消すように、反対方向へ前記角速度
信号をカメラ垂直水平偏向コイルに結合する段階からな
る。
【０００５】オーシマ（Oshima）らにより発明されＩＥ
ＥＥ会報「コンシューマーエレクトロニクス(Consumer
Electronics)」vol.35, no.4, pp.749-758, 11月1989に
開示された「電子画像安定器を有するＶＨＳ カムコー
ダ(VHS camcoder with electronic image stabilizer)
」はビデオカメラのための電子的な映像安定化システ
ムで望ましくないカメラ動きの角速度を感知するために
ジャイロセンサーを使用し、前記角速度の反対の揺れ方
向へレンズ装置を回転させることにより映像の揺れを補
償する。
ＥＥ会報「コンシューマーエレクトロニクス(Consumer
Electronics)」vol.35, no.4, pp.749-758, 11月1989に
開示された「電子画像安定器を有するＶＨＳ カムコー
ダ(VHS camcoder with electronic image stabilizer)
」はビデオカメラのための電子的な映像安定化システ
ムで望ましくないカメラ動きの角速度を感知するために
ジャイロセンサーを使用し、前記角速度の反対の揺れ方
向へレンズ装置を回転させることにより映像の揺れを補
償する。
【０００６】キヌガサ（Kinugasa）らにより発明されＩ
ＥＥＥ会報「コンシューマーエレクトロニクス(Consume
r Electronics)」vol.36,no.3,pp 520-525, ８月1990に
開示された「ビデオカメラ使用のための電子画像安定器
(Electronic image stabilizer for video camera us
e)」は映像選択と動きベクトル方向がスキャニングする
ことにより求められる映像安定化システムでスキャニン
グ領域選択はイメージセンサーの読み出し位置を適切に
変形することにより行われ、モーションベクトルは減少
した１次元水平垂直エッジデータを用いることにより抽
出される。
ＥＥＥ会報「コンシューマーエレクトロニクス(Consume
r Electronics)」vol.36,no.3,pp 520-525, ８月1990に
開示された「ビデオカメラ使用のための電子画像安定器
(Electronic image stabilizer for video camera us
e)」は映像選択と動きベクトル方向がスキャニングする
ことにより求められる映像安定化システムでスキャニン
グ領域選択はイメージセンサーの読み出し位置を適切に
変形することにより行われ、モーションベクトルは減少
した１次元水平垂直エッジデータを用いることにより抽
出される。
【０００７】ウオモリ（Uomori）等により発明されＩＥ
ＥＥ会報「コンシューマーエレクトロニクス(Consumer
Electronics)」vol.36,no.3,pp 510-519, ８月1990に開
示された「全ディジタル信号処理による自動画像安定シ
ステム(Automatic image stabilizing system by full-
digital signal processing)」はビデオカメラのための
ディジタル安定化システムであって、ＢＥＲＰ（Band
Extract Representative Point ：帯域抽出代表点）方
法によるモーション検出部ベクトル計算回路、映像安
定化特性によるモーション累積回路、平均値決定回路、
コアリング回路を具備するモーションベクトル決定部よ
り構成されている。
ＥＥ会報「コンシューマーエレクトロニクス(Consumer
Electronics)」vol.36,no.3,pp 510-519, ８月1990に開
示された「全ディジタル信号処理による自動画像安定シ
ステム(Automatic image stabilizing system by full-
digital signal processing)」はビデオカメラのための
ディジタル安定化システムであって、ＢＥＲＰ（Band
Extract Representative Point ：帯域抽出代表点）方
法によるモーション検出部ベクトル計算回路、映像安
定化特性によるモーション累積回路、平均値決定回路、
コアリング回路を具備するモーションベクトル決定部よ
り構成されている。
【０００８】ホルダの方法とオーシマのシステムは彼ら
がジャイロ形センサーを使用することにより角速度を検
出するという点では類似するが、角速度を補償すること
においては異なる。ホルダの方法とオーシマのシステム
の一つの問題は彼らがジャイロのような機械的な装置を
用いることであり、彼らがモーション補償のために偏向
コイル或いは羅針盤メカニズムを制御することである。
即ち、機械的な装置が入ることによりシステムが大規模
化し、値段が高くなるという問題があった。
がジャイロ形センサーを使用することにより角速度を検
出するという点では類似するが、角速度を補償すること
においては異なる。ホルダの方法とオーシマのシステム
の一つの問題は彼らがジャイロのような機械的な装置を
用いることであり、彼らがモーション補償のために偏向
コイル或いは羅針盤メカニズムを制御することである。
即ち、機械的な装置が入ることによりシステムが大規模
化し、値段が高くなるという問題があった。
【０００９】反面、キヌガサとウオモリのシステムは機
械的装置の助けなく電子的に具現される。しかしなが
ら、キヌガサのモーションベクトル抽出方法は望ましく
ない揺れの方向と量を正確に抽出することが難しい。特
に、キヌガサのシステムで評価されたモーションベクト
ルの正確性は揺れの周波数が増加することにより減少す
る問題があった。
械的装置の助けなく電子的に具現される。しかしなが
ら、キヌガサのモーションベクトル抽出方法は望ましく
ない揺れの方向と量を正確に抽出することが難しい。特
に、キヌガサのシステムで評価されたモーションベクト
ルの正確性は揺れの周波数が増加することにより減少す
る問題があった。
【００１０】ウオモリのシステムは前記述べた方法と比
較されＢＥＲＰ方法は代表点の数を増加することによ
り評価されたモーションベクトルの正確性を増大させる
ことができ、モーションベクトル検出部での計算方法
は正確なモーションベクトル決定が遂行できる数式的な
根拠を持っており、完全なディジタルシステムで具現
され得るという長所がある。しかしながら、ウオモリの
システムは少なくとも一つの外部のマイクロコンピュー
ターと外部的に或いは内部的にフィールドメモリと、全
体システムと比べ少なくない量の代表点メモリを要求す
る。
較されＢＥＲＰ方法は代表点の数を増加することによ
り評価されたモーションベクトルの正確性を増大させる
ことができ、モーションベクトル検出部での計算方法
は正確なモーションベクトル決定が遂行できる数式的な
根拠を持っており、完全なディジタルシステムで具現
され得るという長所がある。しかしながら、ウオモリの
システムは少なくとも一つの外部のマイクロコンピュー
ターと外部的に或いは内部的にフィールドメモリと、全
体システムと比べ少なくない量の代表点メモリを要求す
る。
【００１１】
【発明が解決しようとする課題】本発明の目的は、以前
に撮影された古い映像信号と、最近に撮影された新しい
映像信号の間で、特定被写体の像の移動量（モーショ
ン）が所定の範囲を超過しないという仮定下に一定した
モーション周波数帯域内で一概に安定した映像が提供で
きるディジタル映像安定化方法を提供することである。
に撮影された古い映像信号と、最近に撮影された新しい
映像信号の間で、特定被写体の像の移動量（モーショ
ン）が所定の範囲を超過しないという仮定下に一定した
モーション周波数帯域内で一概に安定した映像が提供で
きるディジタル映像安定化方法を提供することである。
【００１２】本発明の他の目的は画像のノイズ、動く物
体、意図的な画面移動のような非正常的な状態でも安定
した映像を出力するのが可能なディジタル映像安定化方
法を提供することである。
体、意図的な画面移動のような非正常的な状態でも安定
した映像を出力するのが可能なディジタル映像安定化方
法を提供することである。
【００１３】本発明の又他の目的はハードウェアが簡略
化できるディジタル映像安定化システムを提供すること
である。
化できるディジタル映像安定化システムを提供すること
である。
【００１４】
【課題を解決するための手段】前記目的と他の目的を達
成するためのディジタル映像安定化方法は１画素当たり
多数のビットで表現されたディジタル映像データを１画
素当たり１ビットの二進エッジデータに変換するエッジ
検出段階と、ブロックマッチング方法の二進バージョン
のローカルモーションベクトル候補の相関値を発生する
ためのエッジパターンマッチング段階と、生成時刻の異
なる２個の画面から、一つ或いは二つ以上の対応するモ
ーション抽出領域対の最大相関値を利用して前記抽出領
域の変化を示すモーションベクトルを発生するためのロ
ーカルモーションベクトル発生段階と、ローカルモーシ
ョンベクトルの加重値を利用した平均によりフィールド
モーションベクトルを発生するためのフィールドモーシ
ョンベクトル発生段階と、現在と以前のフィールドモー
ションベクトルの加重値の順次的蓄積を使用することに
より蓄積されたモーションベクトルを発生するための蓄
積されたモーションベクトル発生段階と、前記蓄積され
たモーションベクトルを使用したフィールドメモリ読み
出しアドレスを計算するフィールドメモリ読み出しアド
レス発生段階と、非正常的な境界を除くために映像を拡
大するディジタルズーミング段階からなることを特徴と
する。
成するためのディジタル映像安定化方法は１画素当たり
多数のビットで表現されたディジタル映像データを１画
素当たり１ビットの二進エッジデータに変換するエッジ
検出段階と、ブロックマッチング方法の二進バージョン
のローカルモーションベクトル候補の相関値を発生する
ためのエッジパターンマッチング段階と、生成時刻の異
なる２個の画面から、一つ或いは二つ以上の対応するモ
ーション抽出領域対の最大相関値を利用して前記抽出領
域の変化を示すモーションベクトルを発生するためのロ
ーカルモーションベクトル発生段階と、ローカルモーシ
ョンベクトルの加重値を利用した平均によりフィールド
モーションベクトルを発生するためのフィールドモーシ
ョンベクトル発生段階と、現在と以前のフィールドモー
ションベクトルの加重値の順次的蓄積を使用することに
より蓄積されたモーションベクトルを発生するための蓄
積されたモーションベクトル発生段階と、前記蓄積され
たモーションベクトルを使用したフィールドメモリ読み
出しアドレスを計算するフィールドメモリ読み出しアド
レス発生段階と、非正常的な境界を除くために映像を拡
大するディジタルズーミング段階からなることを特徴と
する。
【００１５】前記又他の目的を達成するためのディジタ
ル映像安定化システムは多数のビットディジタル映像デ
ータを二進エッジ映像データに変換するエッジ検出回路
と、基準フィールドと各ローカルモーションベクトル候
補のための対応するブロックの間に同じ位置でエッジの
数を計数することにより相関値を計算するエッジパター
ンマッチング回路と、一つ或いは二つ以上の対応するモ
ーション抽出領域対から最大相関値を提供する一つ或い
は二つ以上のローカルモーションベクトルを発生するた
めのローカルモーションベクトル発生回路と、加重値発
生回路と加重値による適正なフィールドモーションベク
トル決定回路と、動きベクトルでの映像安定化特性によ
り現在と以前のフィールドモーションベクトルの蓄積さ
れたモーションベクトルを発生するための蓄積モーショ
ンベクトル発生回路と、前記蓄積モーションベクトルを
使用したフィールドメモリ読み出しアドレスを計算する
フィールドメモリ読み出しアドレス発生回路及び非正常
的な境界値を除くために映像を拡大するディジタルズー
ミング手段を具備することを特徴とする。
ル映像安定化システムは多数のビットディジタル映像デ
ータを二進エッジ映像データに変換するエッジ検出回路
と、基準フィールドと各ローカルモーションベクトル候
補のための対応するブロックの間に同じ位置でエッジの
数を計数することにより相関値を計算するエッジパター
ンマッチング回路と、一つ或いは二つ以上の対応するモ
ーション抽出領域対から最大相関値を提供する一つ或い
は二つ以上のローカルモーションベクトルを発生するた
めのローカルモーションベクトル発生回路と、加重値発
生回路と加重値による適正なフィールドモーションベク
トル決定回路と、動きベクトルでの映像安定化特性によ
り現在と以前のフィールドモーションベクトルの蓄積さ
れたモーションベクトルを発生するための蓄積モーショ
ンベクトル発生回路と、前記蓄積モーションベクトルを
使用したフィールドメモリ読み出しアドレスを計算する
フィールドメモリ読み出しアドレス発生回路及び非正常
的な境界値を除くために映像を拡大するディジタルズー
ミング手段を具備することを特徴とする。
【００１６】
【作用】本発明は機械的なシステムでない電子的なシス
テムを具現することによりシステムが小型化できる。
テムを具現することによりシステムが小型化できる。
【００１７】
【実施例】以下、添付した図面に基づき本発明を詳細に
説明する。
説明する。
【００１８】図１は本発明のディジタル映像安定化シス
テムの実施例のブロックである。
テムの実施例のブロックである。
【００１９】図１において、１画素当たり８ビットの原
映像データのエッジを検出し１画素当たり１ビットの二
進化したエッジデータを出力するためのエッジ検出手段
１０、前記二進化したエッジデータを基にして、古いエ
ッジデータと新しいエッジデータの間のローカルモーシ
ョンベクトル発生のために相関値を算出するためのエッ
ジパターンマッチング手段２０、前記相関値を入力しロ
ーカルモーションベクトルＬＭＶを算出するためのロー
カルモーションベクトル算出手段３０、前記ローカルモ
ーションベクトルの適応的加重値の平均即ちフィールド
モーションベクトルＦＭＶを求めるフィールドモーショ
ンベクトル発生手段４０、前記フィールドモーションベ
クトルの時間的加重値を順次的に蓄積して蓄積されたモ
ーションベクトルＡＭＶを算出する蓄積モーションベク
トル発生手段５０、前記蓄積されたモーションベクトル
に対応するフィールドメモリアドレスを発生して安定化
画像を読み出すためのフィールドメモリアドレス発生手
段６０、前記フィールドメモリアドレス発生手段６０か
らのアドレス信号に対応する８ビット原映像データを出
力するためのフィールドメモリ７０、前記フィールドメ
モリ７０からのデータを補間して安定化され拡大された
映像データを出力するためのディジタルズーミング手段
８０から構成されている。
映像データのエッジを検出し１画素当たり１ビットの二
進化したエッジデータを出力するためのエッジ検出手段
１０、前記二進化したエッジデータを基にして、古いエ
ッジデータと新しいエッジデータの間のローカルモーシ
ョンベクトル発生のために相関値を算出するためのエッ
ジパターンマッチング手段２０、前記相関値を入力しロ
ーカルモーションベクトルＬＭＶを算出するためのロー
カルモーションベクトル算出手段３０、前記ローカルモ
ーションベクトルの適応的加重値の平均即ちフィールド
モーションベクトルＦＭＶを求めるフィールドモーショ
ンベクトル発生手段４０、前記フィールドモーションベ
クトルの時間的加重値を順次的に蓄積して蓄積されたモ
ーションベクトルＡＭＶを算出する蓄積モーションベク
トル発生手段５０、前記蓄積されたモーションベクトル
に対応するフィールドメモリアドレスを発生して安定化
画像を読み出すためのフィールドメモリアドレス発生手
段６０、前記フィールドメモリアドレス発生手段６０か
らのアドレス信号に対応する８ビット原映像データを出
力するためのフィールドメモリ７０、前記フィールドメ
モリ７０からのデータを補間して安定化され拡大された
映像データを出力するためのディジタルズーミング手段
８０から構成されている。
【００２０】前記構成による動作を説明すれば次の通り
である。
である。
【００２１】原映像データが各撮影時点毎にフィールド
メモリ７０に貯蔵され、データの全部又は主要情報のみ
がエッジ検出手段１０に貯蔵される。エッジ検出手段１
０の出力は二進エッジデータでありそれはエッジパター
ンマッチング手段２０に入力される。エッジパターンマ
ッチング手段２０は、古いエッジデータと新しいエッジ
データの間の対応するＭ個のモーション抽出領域の各々
について最大相関値を算出するＭ個のローカルモーショ
ンベクトルを決定する。
メモリ７０に貯蔵され、データの全部又は主要情報のみ
がエッジ検出手段１０に貯蔵される。エッジ検出手段１
０の出力は二進エッジデータでありそれはエッジパター
ンマッチング手段２０に入力される。エッジパターンマ
ッチング手段２０は、古いエッジデータと新しいエッジ
データの間の対応するＭ個のモーション抽出領域の各々
について最大相関値を算出するＭ個のローカルモーショ
ンベクトルを決定する。
【００２２】図２Ａは映像信号の一例として、以前に撮
影した基準映像データを示すものであり、ｔ番目フィー
ルドで８ビット形式の３列３行＝９個の画素データの一
つは明るさ１０の値を有し、他の画素データの一つは明
るさ２０の値を有する。残りの部分は全て明るさ０を持
つ。
影した基準映像データを示すものであり、ｔ番目フィー
ルドで８ビット形式の３列３行＝９個の画素データの一
つは明るさ１０の値を有し、他の画素データの一つは明
るさ２０の値を有する。残りの部分は全て明るさ０を持
つ。
【００２３】図２Ｂは図２Ａの基準映像データが座標を
（３、３）方向へ移動しｔ＋１番目フィールドで現れる
映像データを示す。
（３、３）方向へ移動しｔ＋１番目フィールドで現れる
映像データを示す。
【００２４】図２Ｃは図２Ａの基準映像データが座標を
（３、５）方向へ移動しｔ＋２番目フィールドで現れる
映像データを示す。
（３、５）方向へ移動しｔ＋２番目フィールドで現れる
映像データを示す。
【００２５】図３Ａ〜Ｃは図２Ａ〜Ｃに示した原映像デ
ータが前記エッジ検出手段２０によりエッジ検出後の画
素当たり１ビットで表されるエッジデータを示す。
ータが前記エッジ検出手段２０によりエッジ検出後の画
素当たり１ビットで表されるエッジデータを示す。
【００２６】前記図２Ａに示した一つの９個の画素デー
タと他の一つの９個の画素データがエッジ検出手段２０
を通過した後に周囲の８個の画素データがエッジと判断
され１で表され中の画素データはエッジでないと判断さ
れ０の値を持つようになることを表す。
タと他の一つの９個の画素データがエッジ検出手段２０
を通過した後に周囲の８個の画素データがエッジと判断
され１で表され中の画素データはエッジでないと判断さ
れ０の値を持つようになることを表す。
【００２７】次に像移動を検討するため、可能性のある
モーションベクトルとして、Ｘ方向とＹ方向に各７画素
以内の上下左右４９個の予想移動量（ベクトル候補）を
仮定して、各々の相関を調べる。例えば、図３Ａ〜Ｃに
示した二つのエッジ映像を比べることにおいて、モーシ
ョンベクトル候補は（−３、−３）から（３、３）の間
の領域の全てのベクトルと仮定する。この際モーション
ベクトル（−３、−３）に対する相関値は１６である。
なぜならば、（−３、−３）によりシフトされ一致した
エッジの数は１６だからである。又他の例で、（−２、
−３）に対する相関値は８である。そして、残りの他の
候補領域ベクトルに該当する相関値も類似した方法で計
算される。
モーションベクトルとして、Ｘ方向とＹ方向に各７画素
以内の上下左右４９個の予想移動量（ベクトル候補）を
仮定して、各々の相関を調べる。例えば、図３Ａ〜Ｃに
示した二つのエッジ映像を比べることにおいて、モーシ
ョンベクトル候補は（−３、−３）から（３、３）の間
の領域の全てのベクトルと仮定する。この際モーション
ベクトル（−３、−３）に対する相関値は１６である。
なぜならば、（−３、−３）によりシフトされ一致した
エッジの数は１６だからである。又他の例で、（−２、
−３）に対する相関値は８である。そして、残りの他の
候補領域ベクトルに該当する相関値も類似した方法で計
算される。
【００２８】図５は各座標にシフトされている前記候補
モーションベクトルがどの位の相関値を持つかを計算し
た表を示す。
モーションベクトルがどの位の相関値を持つかを計算し
た表を示す。
【００２９】図４の表から分かるように、最大相関は座
標値（−３、−３）で生ずる。
標値（−３、−３）で生ずる。
【００３０】図１に示したローカルモーションベクトル
発生手段３０はＭ個のローカル領域毎の相関性調査によ
り発生したＭ個のローカルモーションベクトルを発生す
る。即ち、ＬＭＶ（１）＝（−３、−３）、ＬＭＶ
（２）、…、ＬＭＶ（Ｍ）の値を発生する。
発生手段３０はＭ個のローカル領域毎の相関性調査によ
り発生したＭ個のローカルモーションベクトルを発生す
る。即ち、ＬＭＶ（１）＝（−３、−３）、ＬＭＶ
（２）、…、ＬＭＶ（Ｍ）の値を発生する。
【００３１】図１に示したフィールドモーションベクト
ル発生手段４０はフィールドモーションベクトルＦＭＶ
を発生するためにローカルモーションベクトルＬＭＶ
（１）、ＬＭＶ（２）、…、ＬＭＶ（Ｍ）の加重値の平
均値を求める。
ル発生手段４０はフィールドモーションベクトルＦＭＶ
を発生するためにローカルモーションベクトルＬＭＶ
（１）、ＬＭＶ（２）、…、ＬＭＶ（Ｍ）の加重値の平
均値を求める。
【００３２】ローカルモーションベクトルの加重値の平
均値は次の式により遂行される。
均値は次の式により遂行される。
【００３３】ＬＭＶ（ｉ）＝（ｙi ，ｘi ）、ｉ＝１，
…，ＭでＦＭＶ＝（ｙ，ｘ）と仮定する。
…，ＭでＦＭＶ＝（ｙ，ｘ）と仮定する。
【００３４】Ｍ個のローカルモーションベクトルから望
むフィールドモーションベクトルを得るために次のモー
ションベクトル決定アルゴリズムが使用される。
むフィールドモーションベクトルを得るために次のモー
ションベクトル決定アルゴリズムが使用される。
【００３５】第１、孤立性Ｉx (i) とＩy (i) を次の式
により計算する。
により計算する。
【００３６】Ｉx (i) ＝｜ｘi −ｍx ｜とＩy (i) ＝｜
ｙi −ｍy ｜，ｉ＝１，…，Ｍ ここで、 ｍx ＝（Σｘi ）／Ｍとｍy ＝（Σｙi ）／Ｍ …（１） そして、下のような孤立加重値ａx (i) とａy (i) を計
算する。
ｙi −ｍy ｜，ｉ＝１，…，Ｍ ここで、 ｍx ＝（Σｘi ）／Ｍとｍy ＝（Σｙi ）／Ｍ …（１） そして、下のような孤立加重値ａx (i) とａy (i) を計
算する。
【００３７】 ａx (i) ∝１／Ｉx (i) とａy (i) ∝１／Ｉy (i) …（２） 図５Ａは孤立加重値計算のための典型的な方法を示す。
【００３８】第２、次のような安定性加重値ｓx (i) と
ｓy (i) を計算する。
ｓy (i) を計算する。
【００３９】 ｓx (i) ∝１／｜ｘi −ｘold ｜とｓy (i) ∝１／｜y i −y old ｜ …（３） ここで、（ｘold 、y old ）は映像の以前の対から計算
されたモーションベクトルである。
されたモーションベクトルである。
【００４０】図５Ｂは安定性加重値計算のための典型的
な方法を示す。
な方法を示す。
【００４１】第３、Ｍ個のローカルモーションベクト
ル、孤立加重値、安定性加重値を利用してフィールドモ
ーションベクトルは次の式により計算される。
ル、孤立加重値、安定性加重値を利用してフィールドモ
ーションベクトルは次の式により計算される。
【００４２】 ｘ＝（ａx (1) ｓx (1) ｘ1 ＋…＋ａx (M) ｓx (M) ｘ4 ）／（ａx (1) ｓx (1) ＋…＋ａx (M) ｓx (M) ） ｙ＝（ａy (1) ｓy (1) ｙ1 ＋…＋ａy (M) ｓy (M) ｙ4 ）／（ａy (1) ｓy (1) ＋…＋ａy (M) ｓy (M) ） …（４） 孤立加重値は孤立性が増加することにより減少する。そ
して、それは孤立性が予め定められた値より大きい時０
となる。反面、安定性加重値は該当するローカルモーシ
ョンベクトルが以前フィールドのフィールドモーション
ベクトルと異なるほど減少するが、あるモーションベク
トル成分を完全に失わないようにするために０にならな
い。例えば、もしＬＭＶ（１）＝（−３、−３）、ＬＭ
Ｖ（２）＝（−３、−３）、ＬＭＶ（３）＝（４、
２）、ＬＭＶ（４）＝（−３、−３）のような四つのロ
ーカルモーションベクトルを有するなら、四つのローカ
ルモーションベクトルの平均値ｍx 、ｍy は前記式
（１）により（−１．２５、−１．７５）である。ｘ方
向への四つの孤立加重値は前記式（２）と図５Ａにより
それぞれ０．２５、０．２５、０．０、０．２５とな
る。同様に、ｙ方向への四つの孤立加重値は各々０．
５、０．５、０．０、０．５となる。そして、もし以前
のモーションベクトルが（−２、−２）であれば、ｘと
ｙ方向への安定性加重値は前記式（３）によりそれぞれ
１．０、１．０、０．１２５、１．０と１．０、１．
０、０．１２５、１．０となる。結果的に、フィールド
モーションベクトル発生手段４０は一般的でないローカ
ルモーションベクトルであるＬＭＶ（３）＝（４、２）
の影響を受けない（−３、−３）のようなフィールドモ
ーションベクトルＦＭＶを発生する。
して、それは孤立性が予め定められた値より大きい時０
となる。反面、安定性加重値は該当するローカルモーシ
ョンベクトルが以前フィールドのフィールドモーション
ベクトルと異なるほど減少するが、あるモーションベク
トル成分を完全に失わないようにするために０にならな
い。例えば、もしＬＭＶ（１）＝（−３、−３）、ＬＭ
Ｖ（２）＝（−３、−３）、ＬＭＶ（３）＝（４、
２）、ＬＭＶ（４）＝（−３、−３）のような四つのロ
ーカルモーションベクトルを有するなら、四つのローカ
ルモーションベクトルの平均値ｍx 、ｍy は前記式
（１）により（−１．２５、−１．７５）である。ｘ方
向への四つの孤立加重値は前記式（２）と図５Ａにより
それぞれ０．２５、０．２５、０．０、０．２５とな
る。同様に、ｙ方向への四つの孤立加重値は各々０．
５、０．５、０．０、０．５となる。そして、もし以前
のモーションベクトルが（−２、−２）であれば、ｘと
ｙ方向への安定性加重値は前記式（３）によりそれぞれ
１．０、１．０、０．１２５、１．０と１．０、１．
０、０．１２５、１．０となる。結果的に、フィールド
モーションベクトル発生手段４０は一般的でないローカ
ルモーションベクトルであるＬＭＶ（３）＝（４、２）
の影響を受けない（−３、−３）のようなフィールドモ
ーションベクトルＦＭＶを発生する。
【００４３】図１に示した蓄積モーションベクトル発生
手段５０は順次的に次のような蓄積モーションベクトル
ＡＭＶを発生するためにフィールドモーションベクトル
ＦＭＶを蓄積する。
手段５０は順次的に次のような蓄積モーションベクトル
ＡＭＶを発生するためにフィールドモーションベクトル
ＦＭＶを蓄積する。
【００４４】蓄積モーションベクトルＡＭＶの計算の手
続きは次の通りである。
続きは次の通りである。
【００４５】 AMV(t)＝kAMV(t-1) ＋( αFMV(t-1)＋(1- α)FMV(t)) …（５） ここで、ｔは時間（或いはフィールド）インデックスを
表し、定数ｋ（０＜ｋ＜１）は滑らかなパニングを実現
するために使用される。そして、α（０＜α＜１）は蓄
積モーションベクトルＡＭＶに期待しないノイズの影響
をフィルターするために使用される。実際的なモーショ
ンが、予め定められたローカルモーションベクトルの範
囲を脱した場合と計算された蓄積モーションベクトルが
前もって定められた範囲を脱した場合には蓄積モーショ
ンベクトルＡＭＶは予め定められた定数に制限される。
そして、その時蓄積モーションベクトルＡＭＶは時間加
重値ｋにより減少させられる。
表し、定数ｋ（０＜ｋ＜１）は滑らかなパニングを実現
するために使用される。そして、α（０＜α＜１）は蓄
積モーションベクトルＡＭＶに期待しないノイズの影響
をフィルターするために使用される。実際的なモーショ
ンが、予め定められたローカルモーションベクトルの範
囲を脱した場合と計算された蓄積モーションベクトルが
前もって定められた範囲を脱した場合には蓄積モーショ
ンベクトルＡＭＶは予め定められた定数に制限される。
そして、その時蓄積モーションベクトルＡＭＶは時間加
重値ｋにより減少させられる。
【００４６】図１に示したフィールドメモリアドレス発
生ブロック６０は前記蓄積モーションベクトルＡＭＶを
用いることによりフィールドメモリ７０からのデータを
読み出すための始まりアドレスを発生する。ディジタル
ズーミング手段８０は安定化し拡大された映像データを
発生するために入力映像データを補間する。
生ブロック６０は前記蓄積モーションベクトルＡＭＶを
用いることによりフィールドメモリ７０からのデータを
読み出すための始まりアドレスを発生する。ディジタル
ズーミング手段８０は安定化し拡大された映像データを
発生するために入力映像データを補間する。
【００４７】
【発明の効果】本発明によるディジタル映像安定化方法
及びシステムは機械的なシステムを必要としない電子的
なシステムで小型化したシステムの具現が可能であり、
付加的なマイクロコンピューター或いは凡用或いは専用
のディジタル信号処理器を別に使用しないことによりシ
ステムの構成が簡単になる。
及びシステムは機械的なシステムを必要としない電子的
なシステムで小型化したシステムの具現が可能であり、
付加的なマイクロコンピューター或いは凡用或いは専用
のディジタル信号処理器を別に使用しないことによりシ
ステムの構成が簡単になる。
【００４８】又、本発明によるディジタル映像安定化シ
ステムは従来のディジタル映像安定化システムより映像
の安定度が高い。
ステムは従来のディジタル映像安定化システムより映像
の安定度が高い。
【図１】 本発明のディジタル映像安定化システムの実
施例のブロック図である。
施例のブロック図である。
【図２】 Ａ〜Ｃは三つの映像シーケンスの例を示すチ
ャートである。
ャートである。
【図３】 Ａ〜Ｃは図２Ａ〜Ｃに示した原映像のエッジ
映像を示すチャートである。
映像を示すチャートである。
【図４】 図３ＡとＢに示した二映像の間で、与えられ
たモーション抽出領域で相関値の例を示すチャートであ
る。
たモーション抽出領域で相関値の例を示すチャートであ
る。
【図５】 Ａは孤立加重値を発生する方法の例、Ｂは安
定性加重値を発生する方法の例を示す説明図である。
定性加重値を発生する方法の例を示す説明図である。
１０ エッジ検出手段、２０ エッジパターンマッチン
グ手段、３０ ローカルモーションベクトル発生手段、
４０ フィールドモーションベクトル発生手段、５０
蓄積モーションベクトル発生手段、６０ フィールドメ
モリアドレス発生手段、７０ フィールドメモリ、８０
ディジタルズーミング手段
グ手段、３０ ローカルモーションベクトル発生手段、
４０ フィールドモーションベクトル発生手段、５０
蓄積モーションベクトル発生手段、６０ フィールドメ
モリアドレス発生手段、７０ フィールドメモリ、８０
ディジタルズーミング手段
フロントページの続き (72)発明者 金 東郁 大韓民國ソウル特別市麻布區東橋洞201− ３番地
Claims (2)
- 【請求項１】 多数のビットで表現されたディジタル映
像データを二進エッジデータで変形するエッジ検出段階
と、 前記二進エッジデータとローカルモーションベクトル候
補の相関値を発生するためのエッジパターンマッチング
段階と、 一つ或いは二つ以上の対応するモーション抽出領域対か
ら最大相関値を提供するそれぞれ該当するモーションベ
クトルを発生するためのローカルモーションベクトル発
生段階と、 前記ローカルモーションベクトルの加重値の平均により
フィールドモーションベクトルを発生するためのフィー
ルドモーションベクトル発生段階と、 現在と過去のフィールドモーションベクトルの順次的加
重値の蓄積を使用することにより蓄積されたモーション
ベクトルを発生するための蓄積されたモーションベクト
ル発生段階と、 前記蓄積されたモーションベクトルを使用しフィールド
メモリ読み出しアドレスを計算するフィールドメモリ読
み出しアドレス発生段階と、 非正常的な境界値を除くために映像を拡大するディジタ
ルズーミング段階からなることを特徴とするディジタル
映像安定化方法。 - 【請求項２】 多数のビットで表現されたディジタル映
像データを二進エッジ映像データに変換するエッジ検出
手段と、 基準フィールドとローカルモーションベクトル候補のた
めの対応するブロックの間に同じ位置でエッジの数を計
数することにより相関値を計算するエッジパターンマッ
チング手段と、 一つ或いは二つ以上の対応するモーション抽出領域対か
ら最大相関値を提供するそれぞれ該当するローカルモー
ションベクトルを発生するためのローカルモーションベ
クトル発生手段と、 加重値発生回路と加重値の平均値を求める副回路を具備
するフィールドモーションベクトル発生手段と、 現在と以前のフィールドモーションベクトルの加重値の
順次的蓄積をすることにより蓄積されたモーションベク
トルを発生するための蓄積されたモーションベクトル発
生手段と、 前記蓄積されたモーションベクトルを使用したフィール
ドメモリ読み出しアドレスを計算するフィールドメモリ
読み出しアドレス発生手段と、 正常的でない境界を除くために映像を拡大するディジタ
ルズーミング手段を具備することを特徴とするディジタ
ル映像安定化システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019920017124A KR950005601B1 (ko) | 1992-09-19 | 1992-09-19 | 디지탈 영상 안정화 방법 및 시스템 |
| KR1992-017124 | 1992-09-19 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06197264A true JPH06197264A (ja) | 1994-07-15 |
Family
ID=19339833
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5212905A Pending JPH06197264A (ja) | 1992-09-19 | 1993-08-27 | ディジタル映像安定化方法及びシステム |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0589643A1 (ja) |
| JP (1) | JPH06197264A (ja) |
| KR (1) | KR950005601B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006527948A (ja) * | 2003-06-18 | 2006-12-07 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | ビデオ品質評価におけるエッジ解析 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100448933B1 (ko) * | 1996-07-01 | 2004-11-26 | 가부시키가이샤 구라레 | 섬유용호제 |
| US7880769B2 (en) | 2004-02-13 | 2011-02-01 | Qualcomm Incorporated | Adaptive image stabilization |
| TWI296178B (en) * | 2005-12-12 | 2008-04-21 | Novatek Microelectronics Corp | Image vibration-compensating apparatus and the method thereof |
| TWI367026B (en) * | 2007-03-28 | 2012-06-21 | Quanta Comp Inc | Method and apparatus for image stabilization |
| US7700516B2 (en) | 2007-09-26 | 2010-04-20 | Chevron Phillips Chemical Company Lp | Methods of preparing a polymerization catalyst |
| US8223236B2 (en) | 2008-07-03 | 2012-07-17 | Sony Ericsson Mobile Communications Ab | Apparatus and method for image recording |
| US9023967B2 (en) | 2011-11-30 | 2015-05-05 | Chevron Phillips Chemical Company Lp | Long chain branched polymers and methods of making same |
| US9096699B2 (en) | 2011-12-02 | 2015-08-04 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst |
| KR101710125B1 (ko) | 2015-03-06 | 2017-02-27 | 주식회사 경신산기 | 과부하 방지기능을 갖는 곤도라 |
| US9587048B2 (en) | 2015-04-29 | 2017-03-07 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst |
| US10213766B2 (en) | 2015-09-18 | 2019-02-26 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst |
| US9988468B2 (en) | 2016-09-30 | 2018-06-05 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst |
| US20200369803A1 (en) | 2016-12-29 | 2020-11-26 | Chevron Phillips Chemical Company Lp | Methods of Preparing a Catalyst |
| US10654953B2 (en) | 2016-12-29 | 2020-05-19 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst |
| US11267914B2 (en) | 2016-12-29 | 2022-03-08 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst |
| US10287369B2 (en) | 2017-04-24 | 2019-05-14 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst |
| US10513570B2 (en) | 2017-11-17 | 2019-12-24 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst |
| US10323109B2 (en) | 2017-11-17 | 2019-06-18 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst utilizing hydrated reagents |
| US11266976B2 (en) | 2018-04-16 | 2022-03-08 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst with low HRVOC emissions |
| US10543480B2 (en) | 2018-04-16 | 2020-01-28 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst utilizing hydrated reagents |
| US10722874B2 (en) | 2018-04-16 | 2020-07-28 | Chevron Phillips Chemical Company Lp | Methods of preparing a catalyst utilizing hydrated reagents |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03274869A (ja) * | 1990-03-23 | 1991-12-05 | Victor Co Of Japan Ltd | 動きベクトル検出回路 |
| DE69128163T2 (de) * | 1990-03-30 | 1998-06-18 | Sanyo Electric Co | Bildaufnahmevorrichtung mit einer Kamera-Erschütterungsdetektionsfunktion |
-
1992
- 1992-09-19 KR KR1019920017124A patent/KR950005601B1/ko not_active IP Right Cessation
-
1993
- 1993-08-27 JP JP5212905A patent/JPH06197264A/ja active Pending
- 1993-09-17 EP EP93307385A patent/EP0589643A1/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006527948A (ja) * | 2003-06-18 | 2006-12-07 | ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー | ビデオ品質評価におけるエッジ解析 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR950005601B1 (ko) | 1995-05-27 |
| EP0589643A1 (en) | 1994-03-30 |
| KR940008466A (ko) | 1994-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH06197264A (ja) | ディジタル映像安定化方法及びシステム | |
| EP0643539B1 (en) | Motion vector detection apparatus and method | |
| KR930002613B1 (ko) | 화상의 움직임벡터검출장치 | |
| USRE45231E1 (en) | Taken-image signal-distortion compensation method, taken-image signal-distortion compensation apparatus, image taking method and image-taking apparatus | |
| JP2940762B2 (ja) | 手振れ補正装置を有するビデオカメラ | |
| US8014566B2 (en) | Image processing apparatus | |
| US5748231A (en) | Adaptive motion vector decision method and device for digital image stabilizer system | |
| US7855731B2 (en) | Image vibration-compensating apparatus and method thereof | |
| KR0163922B1 (ko) | 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법 | |
| US20060152590A1 (en) | Image processor | |
| JPH11177880A (ja) | ビットプレーン整合を用いた映像安定化装置及びその方法 | |
| KR100775104B1 (ko) | 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법 | |
| KR20080083525A (ko) | 수평 방향의 기울어짐 왜곡과 수직 방향의 스케일링 왜곡을보정할 수 있는 디지털 영상 안정화 방법 | |
| WO2006043258A2 (en) | Dominant motion estimation for image sequence processing | |
| JP2507138B2 (ja) | 動きベクトル検出装置及び画像揺れ補正装置 | |
| US6122319A (en) | Motion compensating apparatus using gradient pattern matching and method thereof | |
| US5453800A (en) | Apparatus for judging a hand movement of an image | |
| JP2789967B2 (ja) | 動きベクトル検出装置 | |
| US5943450A (en) | Apparatus and method for compensating for camera vibration during video photography | |
| JP3473064B2 (ja) | 画像動きベクトル検出装置及びビデオカメラ | |
| KR20190087119A (ko) | 이미지를 안정화하는 이미지 처리 장치 및 이미지를 안정화하는 방법 | |
| JP3252418B2 (ja) | 画像の手振れ判定装置 | |
| JP3208264B2 (ja) | 手振れ補正装置およびそれを用いたビデオカメラ | |
| JP3200890B2 (ja) | 画像の振動補正装置 | |
| JPH05176218A (ja) | 画像動き補正装置 |