JP4001979B2 - カムコーダの動き補正装置 - Google Patents
カムコーダの動き補正装置 Download PDFInfo
- Publication number
- JP4001979B2 JP4001979B2 JP20492497A JP20492497A JP4001979B2 JP 4001979 B2 JP4001979 B2 JP 4001979B2 JP 20492497 A JP20492497 A JP 20492497A JP 20492497 A JP20492497 A JP 20492497A JP 4001979 B2 JP4001979 B2 JP 4001979B2
- Authority
- JP
- Japan
- Prior art keywords
- motion
- directional
- image
- component
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
Description
【０００１】
【発明の属する技術分野】
本発明はカムコーダに係り、特に、カムコーダの撮影時、手ぶれによる振動のために発生する画像の動きを安定化させるためのカムコーダの動き補正装置及びその方法に関する。
【０００２】
【従来の技術】
動画像信号から動きベクトルを検出することは画像圧縮、画像認識及び画像安定化に要求される基本的な技術である。VCR一体型カメラ(以下、カムコーダという)を用いて画像を撮影する時、特に、歩きながら又は車の移動中に画像を撮影する時には手ぶれによるカメラの振動のために画像が不安定になりがちである。このような振動による不安定化はズームによる画像の倍率増加に応じて更に深刻になる。
【０００３】
従って、従来では振動による動きを正確に補正するために、その動きをピクセルのみならずサブピクセル単位で検出する必要があった。ところが、これには演算量を増加させ、複雑な補間回路が必要になるという問題点があると共に、電子的に画像を拡大するとき、拡大倍率の増加に比例して拡大領域に対する動き情報が振動と無関係に検出される確率が高い。
【０００４】
以下、従来の振動による動きを補正する方法を、添付した図面に基づき説明する。
【０００５】
図３に示した動きベクトル検出方式では画面の全体又は一部に対する画像情報を入力する(第10段階)。次に、１フィールド又は１フレーム以前の画像情報と現在入力した画像情報とを比較して、最適化された水平及び垂直動きベクトルを検出する(第12段階)。この際、全体画像に対する情報を用いて動きベクトルを検出する場合には、画像内の多くのパターン情報を用いるので正確に検出することができるが、動き成分の分解能には限界がある。
【０００６】
次に、検出された水平及び垂直動きベクトルを用いてフィールドメモリの画像を補正する(第14段階)。そして、引き続き画像を所定の倍率で拡大する(第16段階)。
【０００７】
図３に示した動き補正方法は安定的に動きを補正することができるが、動きベクトルを正確に検出できない問題点がある。
【０００８】
図４に示した更に別の従来の動き補正方法は、まず、画面の全体又は一部の画像を入力する(第20段階)。次に、画像の動きを更に正確に検出するために入力した画像を電子的に拡大する(第22段階)。次いで、拡大された画像の水平動きベクトル(Vx)及び垂直動きベクトル(Vy)を下記式(1)及び(2)のように検出する(第24段階)。
【０００９】
【数１】
【数２】
式(1)と式(2)において、Pは画像の輝度成分を１次元で累積した値であり画像の１次元的パターン情報を示し、Corrは現在の累積値Pnと過去の累積値Pn-1との相関値を示し、Wは画像の幅を、Hは画像の高さを、xは水平方向の画素を、yは垂直方向の画素をそれぞれ示す。
【００１０】
画像の最適動き量は相関値が最小になる値における水平及び垂直位置に推定される。この際、出力される動きベクトルの単位は整数値を取る。さらに、より高精度の動きベクトルを有するためには、相関値を補間してその極点を探したり、Pn及びPn-1の値を補間してサブピクセル化した後、相関値を計算する方法を用いる。
【００１１】
第24段階の後、水平及び垂直動きベクトルを用いてフィールドメモリの画像を補正する(第26段階)。
【００１２】
【発明が解決しようとする課題】
しかしながら、第22段階で、サブピクセルの正確な動きベクトルを検出するためには、抽出され拡大された画像の情報が多量の動き情報を含まなければならないが、画像の動き情報は電子的画像拡大の拡大比に反比例するので、その動きベクトルの安定性には限界がある。特に、画像の拡大部分で独立的な動きがたくさん存在すると、振動による画像の動きではなく物体の動きを補正する。従って、安定化の対象が全体画像と物体との間で頻繁に変化し、これにより画像の安定性が著しく低下する問題点がある。
【００１３】
本発明は前記のような問題点を解決するために案出されたものであり、カムコーダシステムにおいて、入力画像の全体領域に対する方向性情報及び画像拡大のための対象領域における方向性情報から検出された動きベクトルを選択して振動による画像の動きを補正するカムコーダの動き補正装置を提供することを第一の目的とする。
【００１４】
また、本発明の第二の目的はカムコーダシステムにおいて、入力画像の全体領域に対する方向性情報及び入力画像の一部領域に対する方向性情報から検出された動きベクトルを選択して振動による画像の動きを補正するカムコーダの動き補正装置を提供することにある。
【００１５】
本発明の第三の目的は前記第一の目的に応じたカムコーダの動き補正装置で行われる補正方法を提供することである。
【００１６】
さらに、本発明の第四の目的は前記第二の目的に応じたカムコーダの動き補正装置で行われる補正方法を提供することである。
【００１７】
【課題を解決するための手段】
前記第一の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明のカムコーダの動き補正装置は、前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、前記画像の一部領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値又は前記第２方向性動き成分を用いて前記振動を補正する補正手段とを具備することを特徴とする。
【００１８】
前記第二の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明によるカムコーダの動き補正装置は、前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、前記画像の拡大領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値又は前記第２方向性動き成分を用いて振動を補正する補正手段とから構成されることが望ましい。
【００１９】
前記第三の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明によるカムコーダの動き補正方法は、前記画像の全体又は一部を入力する段階と、前記画像の全体領域に対して抽出した第１方向性情報及び前記画像の一部領域に対して抽出した第２方向性情報のそれぞれの時間的な差から第１及び第２方向性動き成分をそれぞれ検出する段階と、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を求める段階と、前記方向性差値が第２所定値より大きいかどうかを判断する段階と、前記方向性差値が前記第２所定値より大きいときには、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値を用いて前記振動を補正する段階と、前記方向性差値が前記第２所定値以下であるときには、前記第２方向性動き成分を用いて振動を補正する段階とを具備することが望ましい。
【００２０】
前記第四の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するためのカムコーダの動き補正方法は、前記画像の全体又は一部を入力する段階と、前記画像の全体領域に対して抽出した第１方向性情報及び前記画像の全領域に対して抽出した第２方向性情報のそれぞれの時間的な差から第１及び第２方向性動き成分をそれぞれ検出する段階と、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を求める段階と、前記方向性差値が第２所定値より大きいかどうかを判断する段階と、前記方向性差値が前記第２所定値より大きいときには、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値を用いて振動を補正する段階と、前記方向性差値が前記第２所定値以下であるときには、前記第２方向性動き成分を用いて振動を補正する段階とからなることが望ましい。
【００２１】
【発明の実施の形態】
以下、本発明の実施形態を添付した図面に基づき更に詳細に説明する。
【００２２】
図１は本発明によるカムコーダ動き補正装置のブロック図であり、累積部30、拡張部32、第１動き検出部34、第２動き検出部36、差値計算部38及び補正部40から構成される。
【００２３】
図２は図１に示した装置で行われる本発明による補正方法を説明するためのフローチャートであり、入力された画像から求めた第１及び第２方向性動きベクトルを用いて方向性差値を求める段階(第40〜第44段階)、方向性差値に対応して振動を補正する段階(第46〜48段階)とからなる。
【００２４】
図１に示した装置の累積部30は入力端子(IN)を通してカムコーダにより撮影された画像の全体、一部又は拡大された画像を入力する(第40段階)。
【００２５】
次に、入力された画像から第１及び第２方向性動き成分を求める(第42段階)。即ち、累積部30は入力端子(IN)を通して入力された画像を水平及び垂直方向に累積して、全体領域に対する第１方向性情報(又は第１特徴情報)、即ち第１水平情報(Px)と第１垂直情報(Py)を抽出する。
【００２６】
第１動き検出部34は第１方向性情報の時間的な差から第１方向性動き成分を検出する。そして、第１動き検出部34は第１水平及び第１垂直情報の相関値を式（１）及び式（２）に代入して第１方向性動きベクトル、即ち第１水平動きベクトル(Vx)と第１垂直動きベクトル(Vy)とを検出する。
【００２７】
また、累積部30は入力端子(IN)を通して画像を入力し、入力された画像を水平及び垂直方向に累積して第２方向性情報(又は第２特徴情報)、即ち第２水平情報(Rx)と第２垂直情報(Ry)を抽出する。
【００２８】
拡張部32は第２方向性情報を空間的に特定倍率だけ拡張して第２動き検出部36に出力する。
【００２９】
第２動き検出部36は拡張された第２方向性情報の時間的な差から第２方向性動き成分を検出する。そして、第２動き検出部36は第２水平情報及び第２垂直情報の相関値を下記の式(3)及び式(4)に代入して第２方向性動きベクトル、即ち第２水平動きベクトル(Ux)及び第２垂直動きベクトル(Uy)を検出する。
【００３０】
【数３】
【数４】
であり、Rは累積値をK倍拡張したものを示す。
【００３１】
即ち、所定数(K)倍で拡大された一部の画像に基づいた画像の動き量が整数量として出力される。このように検出された画像の第２方向性動きベクトルを再びKで割ると、サブピクセル単位の高精度の動きを検出することができる。ところが、このような動き成分は拡大対象領域を代表するので、全体画像で独立的な動きが存在する場合に全体領域から検出された結果と異なることになる。実際に拡大倍率(K)が大きいほど累積された画像の情報量が減少するので、検出された結果にエラーが発生する可能性が高い。即ち、拡大された領域における動きを検出すると、正確度(動き検出の分解能)は増加するが、動きの信頼度が低下するので、検出された動きを適宜に評価して動きを補う必要がある。
【００３２】
このために、第42段階の後、下記の式(5)及び式(6)のように、図１に示した差値計算部38は方向性差値(E)、即ち水平差値(Ex)と垂直差値(Ey)の絶対値を求める(第44段階)。
【００３３】
【数５】
【数６】
この際、評価した動きの差が大きいと、全体画像の第１方向性動きベクトル(Vx及びVy)に対して拡大領域における第２方向性動きベクトル(Ux及びUy)は前記のような理由のために信頼性が低下することになる。
【００３４】
第44段階の後、補正部40は差値計算部38で計算された水平及び垂直差値(Ex及びEy)を入力して、"１"より大きいかどうかを判断する(第46段階)。もし、"１"以下であると、第２水平及び第２垂直動きベクトルを選択し、選択された動きベクトルを用いて振動による画像の動きを補正する(第50段階)。ところが、"１"より大きいと、第１水平及び第１垂直動きベクトルを選択し、選択された動きベクトルを用いて振動による画像の動きを補正する(第48段階)。この際、通常的にKの値は２〜４の範囲内で取られる。
【００３５】
画像をK倍に拡大するディジタル画像拡大時にも、拡大された画像に対する動きベクトル(Ux及びUy)をそのまま用いることができる。もし、差値(Ex及びEy)が"１"以上になると、第１水平及び第１垂直動きベクトルに所定の倍率(K)を乗算した値を用いて振動による動きを補正する。結局、動きの分解能は低下するが、極端なエラーを減少させ得る。
【００３６】
相関値を同時に計算するためには、現在と以前、水平と垂直、全体領域と一部の拡大領域におけるそれぞれの累積値が必要になる。入力画像が完全に走査されてから、前記推定された動きにより画像が補正され出力されるので、一応前記入力画像をフィールドメモリに格納してから、検出された動きベクトルを用いて補正する。
【００３７】
【発明の効果】
以上、本発明によるカムコーダの動き補正装置及び方法はカムコーダの撮影時に振動による動きを高精度かつ安定に補正することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るカムコーダの動き補正装置のブロック図である。
【図２】図１に示した装置で行われる本発明による補正方法を説明するためのフローチャートである。
【図３】従来の動き補正方法を説明するためのフローチャートである。
【図４】従来の別の動き補正方法を説明するためのフローチャートである。
【符号の説明】
３０ 累積部
３２ 拡張部
３４ 第１動き検出部
３６ 第２動き検出部
３８ 差値計算部
４０ 補正部
【発明の属する技術分野】
本発明はカムコーダに係り、特に、カムコーダの撮影時、手ぶれによる振動のために発生する画像の動きを安定化させるためのカムコーダの動き補正装置及びその方法に関する。
【０００２】
【従来の技術】
動画像信号から動きベクトルを検出することは画像圧縮、画像認識及び画像安定化に要求される基本的な技術である。VCR一体型カメラ(以下、カムコーダという)を用いて画像を撮影する時、特に、歩きながら又は車の移動中に画像を撮影する時には手ぶれによるカメラの振動のために画像が不安定になりがちである。このような振動による不安定化はズームによる画像の倍率増加に応じて更に深刻になる。
【０００３】
従って、従来では振動による動きを正確に補正するために、その動きをピクセルのみならずサブピクセル単位で検出する必要があった。ところが、これには演算量を増加させ、複雑な補間回路が必要になるという問題点があると共に、電子的に画像を拡大するとき、拡大倍率の増加に比例して拡大領域に対する動き情報が振動と無関係に検出される確率が高い。
【０００４】
以下、従来の振動による動きを補正する方法を、添付した図面に基づき説明する。
【０００５】
図３に示した動きベクトル検出方式では画面の全体又は一部に対する画像情報を入力する(第10段階)。次に、１フィールド又は１フレーム以前の画像情報と現在入力した画像情報とを比較して、最適化された水平及び垂直動きベクトルを検出する(第12段階)。この際、全体画像に対する情報を用いて動きベクトルを検出する場合には、画像内の多くのパターン情報を用いるので正確に検出することができるが、動き成分の分解能には限界がある。
【０００６】
次に、検出された水平及び垂直動きベクトルを用いてフィールドメモリの画像を補正する(第14段階)。そして、引き続き画像を所定の倍率で拡大する(第16段階)。
【０００７】
図３に示した動き補正方法は安定的に動きを補正することができるが、動きベクトルを正確に検出できない問題点がある。
【０００８】
図４に示した更に別の従来の動き補正方法は、まず、画面の全体又は一部の画像を入力する(第20段階)。次に、画像の動きを更に正確に検出するために入力した画像を電子的に拡大する(第22段階)。次いで、拡大された画像の水平動きベクトル(Vx)及び垂直動きベクトル(Vy)を下記式(1)及び(2)のように検出する(第24段階)。
【０００９】
【数１】
【００１０】
画像の最適動き量は相関値が最小になる値における水平及び垂直位置に推定される。この際、出力される動きベクトルの単位は整数値を取る。さらに、より高精度の動きベクトルを有するためには、相関値を補間してその極点を探したり、Pn及びPn-1の値を補間してサブピクセル化した後、相関値を計算する方法を用いる。
【００１１】
第24段階の後、水平及び垂直動きベクトルを用いてフィールドメモリの画像を補正する(第26段階)。
【００１２】
【発明が解決しようとする課題】
しかしながら、第22段階で、サブピクセルの正確な動きベクトルを検出するためには、抽出され拡大された画像の情報が多量の動き情報を含まなければならないが、画像の動き情報は電子的画像拡大の拡大比に反比例するので、その動きベクトルの安定性には限界がある。特に、画像の拡大部分で独立的な動きがたくさん存在すると、振動による画像の動きではなく物体の動きを補正する。従って、安定化の対象が全体画像と物体との間で頻繁に変化し、これにより画像の安定性が著しく低下する問題点がある。
【００１３】
本発明は前記のような問題点を解決するために案出されたものであり、カムコーダシステムにおいて、入力画像の全体領域に対する方向性情報及び画像拡大のための対象領域における方向性情報から検出された動きベクトルを選択して振動による画像の動きを補正するカムコーダの動き補正装置を提供することを第一の目的とする。
【００１４】
また、本発明の第二の目的はカムコーダシステムにおいて、入力画像の全体領域に対する方向性情報及び入力画像の一部領域に対する方向性情報から検出された動きベクトルを選択して振動による画像の動きを補正するカムコーダの動き補正装置を提供することにある。
【００１５】
本発明の第三の目的は前記第一の目的に応じたカムコーダの動き補正装置で行われる補正方法を提供することである。
【００１６】
さらに、本発明の第四の目的は前記第二の目的に応じたカムコーダの動き補正装置で行われる補正方法を提供することである。
【００１７】
【課題を解決するための手段】
前記第一の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明のカムコーダの動き補正装置は、前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、前記画像の一部領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値又は前記第２方向性動き成分を用いて前記振動を補正する補正手段とを具備することを特徴とする。
【００１８】
前記第二の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明によるカムコーダの動き補正装置は、前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、前記画像の拡大領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値又は前記第２方向性動き成分を用いて振動を補正する補正手段とから構成されることが望ましい。
【００１９】
前記第三の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するための本発明によるカムコーダの動き補正方法は、前記画像の全体又は一部を入力する段階と、前記画像の全体領域に対して抽出した第１方向性情報及び前記画像の一部領域に対して抽出した第２方向性情報のそれぞれの時間的な差から第１及び第２方向性動き成分をそれぞれ検出する段階と、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を求める段階と、前記方向性差値が第２所定値より大きいかどうかを判断する段階と、前記方向性差値が前記第２所定値より大きいときには、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値を用いて前記振動を補正する段階と、前記方向性差値が前記第２所定値以下であるときには、前記第２方向性動き成分を用いて振動を補正する段階とを具備することが望ましい。
【００２０】
前記第四の目的を達成するために、カメラの撮影時、振動による画像の動きを補正するためのカムコーダの動き補正方法は、前記画像の全体又は一部を入力する段階と、前記画像の全体領域に対して抽出した第１方向性情報及び前記画像の全領域に対して抽出した第２方向性情報のそれぞれの時間的な差から第１及び第２方向性動き成分をそれぞれ検出する段階と、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を求める段階と、前記方向性差値が第２所定値より大きいかどうかを判断する段階と、前記方向性差値が前記第２所定値より大きいときには、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値を用いて振動を補正する段階と、前記方向性差値が前記第２所定値以下であるときには、前記第２方向性動き成分を用いて振動を補正する段階とからなることが望ましい。
【００２１】
【発明の実施の形態】
以下、本発明の実施形態を添付した図面に基づき更に詳細に説明する。
【００２２】
図１は本発明によるカムコーダ動き補正装置のブロック図であり、累積部30、拡張部32、第１動き検出部34、第２動き検出部36、差値計算部38及び補正部40から構成される。
【００２３】
図２は図１に示した装置で行われる本発明による補正方法を説明するためのフローチャートであり、入力された画像から求めた第１及び第２方向性動きベクトルを用いて方向性差値を求める段階(第40〜第44段階)、方向性差値に対応して振動を補正する段階(第46〜48段階)とからなる。
【００２４】
図１に示した装置の累積部30は入力端子(IN)を通してカムコーダにより撮影された画像の全体、一部又は拡大された画像を入力する(第40段階)。
【００２５】
次に、入力された画像から第１及び第２方向性動き成分を求める(第42段階)。即ち、累積部30は入力端子(IN)を通して入力された画像を水平及び垂直方向に累積して、全体領域に対する第１方向性情報(又は第１特徴情報)、即ち第１水平情報(Px)と第１垂直情報(Py)を抽出する。
【００２６】
第１動き検出部34は第１方向性情報の時間的な差から第１方向性動き成分を検出する。そして、第１動き検出部34は第１水平及び第１垂直情報の相関値を式（１）及び式（２）に代入して第１方向性動きベクトル、即ち第１水平動きベクトル(Vx)と第１垂直動きベクトル(Vy)とを検出する。
【００２７】
また、累積部30は入力端子(IN)を通して画像を入力し、入力された画像を水平及び垂直方向に累積して第２方向性情報(又は第２特徴情報)、即ち第２水平情報(Rx)と第２垂直情報(Ry)を抽出する。
【００２８】
拡張部32は第２方向性情報を空間的に特定倍率だけ拡張して第２動き検出部36に出力する。
【００２９】
第２動き検出部36は拡張された第２方向性情報の時間的な差から第２方向性動き成分を検出する。そして、第２動き検出部36は第２水平情報及び第２垂直情報の相関値を下記の式(3)及び式(4)に代入して第２方向性動きベクトル、即ち第２水平動きベクトル(Ux)及び第２垂直動きベクトル(Uy)を検出する。
【００３０】
【数３】
【００３１】
即ち、所定数(K)倍で拡大された一部の画像に基づいた画像の動き量が整数量として出力される。このように検出された画像の第２方向性動きベクトルを再びKで割ると、サブピクセル単位の高精度の動きを検出することができる。ところが、このような動き成分は拡大対象領域を代表するので、全体画像で独立的な動きが存在する場合に全体領域から検出された結果と異なることになる。実際に拡大倍率(K)が大きいほど累積された画像の情報量が減少するので、検出された結果にエラーが発生する可能性が高い。即ち、拡大された領域における動きを検出すると、正確度(動き検出の分解能)は増加するが、動きの信頼度が低下するので、検出された動きを適宜に評価して動きを補う必要がある。
【００３２】
このために、第42段階の後、下記の式(5)及び式(6)のように、図１に示した差値計算部38は方向性差値(E)、即ち水平差値(Ex)と垂直差値(Ey)の絶対値を求める(第44段階)。
【００３３】
【数５】
【００３４】
第44段階の後、補正部40は差値計算部38で計算された水平及び垂直差値(Ex及びEy)を入力して、"１"より大きいかどうかを判断する(第46段階)。もし、"１"以下であると、第２水平及び第２垂直動きベクトルを選択し、選択された動きベクトルを用いて振動による画像の動きを補正する(第50段階)。ところが、"１"より大きいと、第１水平及び第１垂直動きベクトルを選択し、選択された動きベクトルを用いて振動による画像の動きを補正する(第48段階)。この際、通常的にKの値は２〜４の範囲内で取られる。
【００３５】
画像をK倍に拡大するディジタル画像拡大時にも、拡大された画像に対する動きベクトル(Ux及びUy)をそのまま用いることができる。もし、差値(Ex及びEy)が"１"以上になると、第１水平及び第１垂直動きベクトルに所定の倍率(K)を乗算した値を用いて振動による動きを補正する。結局、動きの分解能は低下するが、極端なエラーを減少させ得る。
【００３６】
相関値を同時に計算するためには、現在と以前、水平と垂直、全体領域と一部の拡大領域におけるそれぞれの累積値が必要になる。入力画像が完全に走査されてから、前記推定された動きにより画像が補正され出力されるので、一応前記入力画像をフィールドメモリに格納してから、検出された動きベクトルを用いて補正する。
【００３７】
【発明の効果】
以上、本発明によるカムコーダの動き補正装置及び方法はカムコーダの撮影時に振動による動きを高精度かつ安定に補正することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るカムコーダの動き補正装置のブロック図である。
【図２】図１に示した装置で行われる本発明による補正方法を説明するためのフローチャートである。
【図３】従来の動き補正方法を説明するためのフローチャートである。
【図４】従来の別の動き補正方法を説明するためのフローチャートである。
【符号の説明】
３０ 累積部
３２ 拡張部
３４ 第１動き検出部
３６ 第２動き検出部
３８ 差値計算部
４０ 補正部
Claims (6)
- カメラの撮影時、振動による画像の動きを補正するためのカムコーダの動き補正装置において、
前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、
前記画像の一部領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、
前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、
前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値叉は前記第２方向性動き成分を用いて前記振動を補正する補正手段と
を具備することを特徴とするカムコーダの動き補正装置。 - 前記第１及び前記第２動き検出手段は前記画像を水平及び垂直方向に累積して前記第１及び第２方向性情報を抽出することを特徴とする請求項１に記載のカムコーダの動き補正装置。
- 前記第１動き検出手段は、
前記画像の全体領域に対する前記第１方向性情報を抽出する第１累積手段と、
前記抽出された第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き成分検出手段と、
を具備することを特徴とする請求項１に記載のカムコーダの動き補正装置。 - 前記第２動き検出手段は、
前記画像の一部に対する前記第２方向性情報を抽出する第２累積手段と、
抽出された前記第２方向性情報を空間的に拡張して出力する拡張手段と、
前記拡張された第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き成分検出手段と
を具備することを特徴とする請求項１に記載のカムコーダの動き補正装置。 - カメラの撮影時、振動による画像の動きを補正するためのカムコーダの動き補正装置において、
前記画像の全体領域に対する第１方向性情報を抽出し、前記第１方向性情報の時間的な差から第１方向性動き成分を検出する第１動き検出手段と、
前記画像の拡大領域に対する第２方向性情報を抽出して空間的に拡張し、前記第２方向性情報の時間的な差から第２方向性動き成分を検出する第２動き検出手段と、
前記第１及び第２方向性動き成分を入力し、前記第２方向性動き成分に第１所定値を乗算した値と前記第１方向性動き成分との間の方向性差値を計算する差値計算手段と、
前記方向性差値と第２所定値とを比較し、比較された結果に応答して、前記第１方向性動き成分に前記第１所定値の逆数を乗算した値叉は前記第２方向性動き成分を用いて振動を補正する補正手段と
を具備することを特徴とするカムコーダの動き補正装置。 - 前記第１及び前記第２動き検出手段は前記画像を水平及び垂直方向に累積して前記第１及び前記第２方向性情報を抽出することを特徴とする請求項５に記載のカムコーダの動き補正装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1996-58503 | 1996-11-27 | ||
| KR1019960058503A KR100200761B1 (ko) | 1996-11-27 | 1996-11-27 | 캠코더의 움직임 보정장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10164428A JPH10164428A (ja) | 1998-06-19 |
| JP4001979B2 true JP4001979B2 (ja) | 2007-10-31 |
Family
ID=19484030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20492497A Expired - Fee Related JP4001979B2 (ja) | 1996-11-27 | 1997-07-30 | カムコーダの動き補正装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5943450A (ja) |
| JP (1) | JP4001979B2 (ja) |
| KR (1) | KR100200761B1 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002148269A (ja) * | 2000-11-08 | 2002-05-22 | Sumitomo Rubber Ind Ltd | ボール運動計測装置 |
| DE60234649D1 (de) * | 2002-12-26 | 2010-01-14 | Mitsubishi Electric Corp | Bildprozessor |
| EP1700471B1 (en) * | 2003-12-23 | 2008-09-24 | Nxp B.V. | Method and system for stabilizing video data |
| US7327952B2 (en) * | 2004-07-26 | 2008-02-05 | Pentax Corporation | Stage apparatus and camera shake correction apparatus using the stage apparatus |
| US8120658B2 (en) * | 2006-01-19 | 2012-02-21 | Qualcomm Incorporated | Hand jitter reduction system for cameras |
| US8019179B2 (en) * | 2006-01-19 | 2011-09-13 | Qualcomm Incorporated | Hand jitter reduction for compensating for linear displacement |
| US7970239B2 (en) * | 2006-01-19 | 2011-06-28 | Qualcomm Incorporated | Hand jitter reduction compensating for rotational motion |
| US20070171981A1 (en) * | 2006-01-25 | 2007-07-26 | Yingyong Qi | Projection based techniques and apparatus that generate motion vectors used for video stabilization and encoding |
| DE102008019129A1 (de) | 2007-04-23 | 2008-10-30 | Dongbu Hitek Co., Ltd. | Bildsensor |
| US8379933B2 (en) * | 2010-07-02 | 2013-02-19 | Ability Enterprise Co., Ltd. | Method of determining shift between two images |
| US10062413B2 (en) | 2015-10-16 | 2018-08-28 | Tribune Broadcasting Company, Llc | Media-production system with social media content interface feature |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH066667A (ja) * | 1992-06-22 | 1994-01-14 | Canon Inc | ぶれ検出装置及びぶれ補正装置 |
| JP3582022B2 (ja) * | 1994-09-29 | 2004-10-27 | コニカミノルタホールディングス株式会社 | ズームレンズ鏡胴 |
| JPH08166614A (ja) * | 1994-12-14 | 1996-06-25 | Nikon Corp | 防振機能付きカメラ |
| JP3790829B2 (ja) * | 1995-04-21 | 2006-06-28 | 株式会社ニコン | 超音波アクチュエータを用いる振れ防止装置 |
-
1996
- 1996-11-27 KR KR1019960058503A patent/KR100200761B1/ko not_active IP Right Cessation
-
1997
- 1997-07-30 JP JP20492497A patent/JP4001979B2/ja not_active Expired - Fee Related
- 1997-11-25 US US08/976,454 patent/US5943450A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| KR100200761B1 (ko) | 1999-06-15 |
| JPH10164428A (ja) | 1998-06-19 |
| KR19980039479A (ko) | 1998-08-17 |
| US5943450A (en) | 1999-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8289402B2 (en) | Image processing apparatus, image pickup apparatus and image processing method including image stabilization | |
| JP2940762B2 (ja) | 手振れ補正装置を有するビデオカメラ | |
| JP5057974B2 (ja) | 取得された画像フレーム間の意図的でないカメラ運動を補正するためのビデオデータの処理 | |
| US9055217B2 (en) | Image compositing apparatus, image compositing method and program recording device | |
| JPH02246686A (ja) | 画像の動きベクトル検出装置および揺れ補正装置 | |
| JP4639555B2 (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| KR0163922B1 (ko) | 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법 | |
| JP4001979B2 (ja) | カムコーダの動き補正装置 | |
| EP1968308B1 (en) | Image processing method, image processing program, image processing device, and imaging device | |
| US8363118B2 (en) | Image processing device and method for controlling the same | |
| JPH05122586A (ja) | 画像の手振れ補正装置 | |
| KR100827794B1 (ko) | 촬상장치의 손떨림 보정방법 | |
| JP6532328B2 (ja) | 画像処理装置、その制御方法、および制御プログラム | |
| JP2002539683A (ja) | 画像シーケンスにおける画像の変位を求める方法および装置 | |
| JP2015154334A (ja) | 撮像装置、その制御方法、および制御プログラム | |
| JP2003078808A (ja) | 動きベクトル検出装置および方法、手振れ補正装置および方法、並びに撮像装置 | |
| JPH04309078A (ja) | ビデオデータの動き検出装置および方法 | |
| JP3252418B2 (ja) | 画像の手振れ判定装置 | |
| JP3303312B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JP3271273B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| JP3200890B2 (ja) | 画像の振動補正装置 | |
| JP3271274B2 (ja) | 画像の振動判定装置、画像の振動補正装置、画像の振動判定方法及び画像の振動補正方法 | |
| JP3303311B2 (ja) | 画像の振動補正装置及び画像の振動補正方法 | |
| JP2925890B2 (ja) | 手振れ補正装置を有するビデオカメラ | |
| JP3103893B2 (ja) | ビデオデータの手振れ検出装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040624 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070731 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070816 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |