JPH10173992A - 画像修正装置 - Google Patents

Abstract

(57)【要約】 【課題】 相連続する二画像間に手振れのような画像範
囲のズレが生じたとき、センサ等の外部装置を取り付け
なければ、同画像範囲のズレを修正できなかった。 【解決手段】 カメラで撮った映像による画像が入力さ
れて記憶手段５１に保持されると、パターンマッチング
手段５２は、参照画像生成手段４０から前一画面分の参
照画像を読み出すとともに、記憶手段５１から一画面分
の入力画像を読み出し、パターンマッチングすることに
よって相連続する二画像間の画像範囲のズレを検知す
る。すると、画像位置修正手段５５は、同検知結果に基
づいて入力画像を負の方向にずらして修正画像を生成す
る。したがって、手振れによる画像範囲のズレをカメラ
からの入力画像のみによって修正し、手ブレ感を解消す
ることが可能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像修正装置に関
し、特に、いわゆる手振れを修正する画像修正装置に関
する。

【０００２】

【従来の技術】従来、カメラの撮影時に手振れで生じる
映像の乱れを解消するため、カメラにセンサ等を取り付
けて画像範囲のズレを検知し、同検知結果に基づいて画
像を修正していた。この種の画像修正装置として、特開
平８ー４６８５６号に開示されたものが知られている。

【０００３】同公報の画像修正装置は、映像を入力する
撮影光学系１と、上記映像を電気信号に変換する固体撮
像素子２と、同電気信号を映像信号に変換する撮像回路
３と、同映像信号をデジタル画像データに変換するＡ／
Ｄ変換器４と、上記撮影光学系１に取り付けられて上記
撮影光学系１の倍率を検知するズームレンズ５と、同撮
影光学系１に取り付けられて上記撮影光学系１の角速度
を検知する角速度センサ６と、検知された上記倍率と角
速度とを利用して上記デジタル画像データの移動量を算
出するＣＰＵ７と、同デジタル画像データを格納すると
ともに、ＣＰＵ７により算出された移動量分だけ移動さ
せた状態で同デジタル画像データを上書きする画像メモ
リ８と、同上書きされたデジタル画像データを映像信号
に変換するＤ／Ａ変換器９とから構成されている。

【０００４】かかる構成により、撮影光学系１から映像
を入力すると、同映像を電気信号、映像信号、デジタル
画像データと順に変換した後、画像メモリ８に格納す
る。このとき、上記撮影光学系１に取り付けられたズー
ムレンズ５と角速度センサ６により検知された同撮影光
学系１の倍率と角速度を検出して、同倍率と角速度を利
用してＣＰＵ７にて画像の移動量を算出し、同移動量分
だけ反対方向に移動させた画像を再び上記画像メモリ８
に格納し直す。

【０００５】このように、上記画像修正装置では、ズー
ムレンズや角速度センサといった撮影光学系に取り付け
られた外部装置から得られる情報をもとに画像情報の移
動量を算出して、同画像情報を修正している。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
た従来の画像修正装置においては、次のような課題があ
った。すなわち、相連続する二画像間に手ブレのような
画像範囲のズレが生じたとき、同ズレを解消するために
はセンサ等の外部装置からのズレに関する情報が不可欠
であるため、同外部装置の取り付けが必要条件であっ
た。したがって、同外部装置を取り付けなければ、上述
のような画像範囲のズレを修正できないこととなる。

【０００７】本発明は、上記課題をかんがみてなされた
もので、入力画像のみに基づいて連続する二画像間のズ
レを修正できる画像修正装置の提供を目的とする。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、請求項１にかかる発明は、相連続する二画像につい
て画像内容のパターンマッチングをして画像範囲のズレ
を検出するズレ検出手段と、上記ズレに基づいて上記二
画像間で手振れ感が生じないように同画像を修正するズ
レ修正手段とを具備する構成としてある。

【０００９】かかる構成からなる本発明によれば、相連
続した二画像は、ズレ検知手段にてパターンマッチング
されることにより、同二画像間における画像範囲のズレ
が検出される。そして、ズレ修正手段にて上記ズレによ
る手振れ感を生じないように上記画像は修正される。ズ
レ検知手段は、相連続した二画像をパターンマッチング
して、同二画像間に生じた画像範囲のズレを検出できる
構成となっている。

【００１０】このとき、少なくとも所望のズレを検知可
能な構成となっていれば良く、検出するズレの程度を限
定するものではない。例えば、検出する画像範囲のズレ
は、あらかじめ設定しておくことにより、ごく僅かであ
るときや非常に大きなときには検出しないようにするこ
とも可能である。

【００１１】上記ズレの検出方法の一例として、請求項
２にかかる発明は、請求項１に記載の画像修正装置にお
いて、上記ズレ検知手段は、上記二画像を各々任意の領
域に分割するとともに互いに対応した画像領域ごとにズ
レを検出する構成としてある。かかる構成からなる本発
明によれば、相連続した二画像を各々任意の領域に分割
して、互いに対応した画像領域ごとにズレを検出する。
このように画像が複数の領域に分割された場合には、次
の三通りのズレ状況が生じうる。

【００１２】まず第一に、すべての画像領域でズレを生
じる場合がある。このときは画像全体がズレたことを意
味する。すなわち、上記画像がカメラで撮った映像をも
とにしたものであったならば、同カメラが映像を取り入
れるときにブレたことを意味する。第二に、一部領域の
みがズレを生じた場合、この領域内に移動体が含まれて
いることを意味する。上述の第一の場合でも一部領域の
ズレの量が他の領域と異なる場合も同様に移動体が同領
域内に含まれていることを意味する。第三に、すべての
領域が全くズレを生じない場合は、移動体を含まないと
ともに、上述の第一の場合のようにカメラで映像を取り
込んでいるときには、同カメラのブレが生じなかったこ
とを意味する。

【００１３】また、上記画像情報の分割方法の一例とし
て、請求項３にかかる発明は、上記請求項１または請求
項２に記載の画像修正装置において、上記ズレ検出手段
は、長方形の画像領域をパターンマッチングする構成と
なっている。かかる構成からなる本発明によれば、相連
続する二画像をともに各画像領域が長方形になるように
分割して、それぞれ対応した画像領域ごとにズレを検出
する。この場合、ドットマトリックスを縦方向、横方向
ともに周期的に配置させた上でズレを検出できるため
に、他の形状に分割したときよりもわかりやすい。

【００１４】しかし、必ずしも上記のような形状の分割
に限定する必要はなく、少なくとも上述のように画像範
囲のズレの検知が可能であるとともに同画像内に含まれ
る移動体を検出できれば良い。例えば、放射状の分割や
任意の曲線による分割であっても複雑にはなるが、上記
ズレの検知は可能となる。

【００１５】次に、パターンマッチングをする画像の種
類に関する一例として、請求項４にかかる発明は、上記
請求項１〜請求項３のいずれかに記載の画像修正装置に
おいて、上記ズレ検出手段は、デジタル画像をパターン
マッチングする構成としてある。

【００１６】かかる構成からなる本発明によれば、相連
続する二デジタル画像をパターンマッチングすることに
より画像範囲のズレを検出する。上記デジタル画像は、
少なくとも上述のパターンマッチング時にデジタル画像
の形態をなしていれば良く、デジタルカメラで取り込ん
だ映像に基づいたデジタル画像であっても構わないし、
アナログカメラで取り込んだ映像に基づいたアナログ画
像をＡ／Ｄ変換器等によって変換したデジタル画像であ
っても構わない。

【００１７】修正手段は、上記ズレによる手振れ感を生
じないように上記画像を修正する構成としてある。ここ
では、少なくとも所望のズレを修正可能な構成となって
いれば良く、検出された上記ズレをすべて修正すること
を示しているわけではない。例えば、修正する画像範囲
のズレをあらかじめ設定しておけば、検出されたズレが
修正の必要がないほど僅かであるときや非常に大きなと
きには修正を加えないようにすることもできる。

【００１８】

【発明の実施の形態】以下、図面にもとづいて本発明の
実施形態を説明する。図１は、本発明の一実施形態にか
かる画像修正装置を適用した画像処理装置の概略をブロ
ック図により示している。映像信号発生装置１０は、撮
影光学系と撮像素子としてのＣＣＤとを備えたＶＴＲカ
メラから構成されており、撮影した映像をＣＣＤにて電
気信号に変換した後、同電気信号を撮像回路にてアナロ
グ画像信号に変換して画像処理装置２０に出力する。

【００１９】画像処理装置２０は、Ａ／Ｄ変換器３０
と、参照画像生成手段４０としての映像バッファメモリ
と、画像修正装置５０としてのデジタル処理回路と、画
像処理手段６０としてのスーパーインポーズ回路とを備
えており、映像信号発生装置１０としてのＶＴＲカメラ
と出力装置７０としてのディスプレイとの間に介在させ
ることによって、同ＶＴＲカメラで生じた手振れによる
画像範囲のブレを修正してディスプレイに修正画像を出
力している。

【００２０】Ａ／Ｄ変換器３０は、上記アナログ画像信
号をデジタル画像に変換して、上記デジタル処理回路に
出力する。参照画像生成手段４０は、映像バッファメモ
リで構成され、前一画面分の修正画像を参照画像として
保持する。

【００２１】画像修正装置５０は、図示しないＣＰＵ
と、ＲＯＭと、ＲＡＭとを備えたデジタル処理回路から
構成されており、内部メモリを記憶手段５１として入力
画像の保持に用いるとともに、ＲＯＭに記憶されたプロ
グラムやテーブルを利用してパターンマッチング手段５
２と、ベクトル評価手段５３と、ベクトル選出手段５４
と、画像位置修正手段５５とを構成している。すなわ
ち、これらのパターンマッチング手段５２〜画像位置修
正手段５５はソフトウェアで構成されている。

【００２２】記憶手段５１は、上記内部メモリで構成さ
れており、上記Ａ／Ｄ変換器３０から入力された一画面
分の入力画像を保持する。

【００２３】以下、上記ＲＯＭ内のプログラムの実行に
よって実行される上記四手段について詳細を説明する。
パターンマッチング手段５２は、記憶手段５１から読み
出した入力画像と参照画像生成手段４０から読み出した
参照画像をそれぞれ長方形の小画像領域に分割してパタ
ーンマッチングすることにより、相連続する二画像間の
画像範囲のズレを検知して検知結果を移動ベクトルとし
てベクトル評価手段５３に出力する。

【００２４】このとき、上述のように分割された小領
域、すなわち、図２に示されるように、Ｘ画素×Ｙ画素
で構成された入力画像の画像領域（Ｘ≠Ｙ）を左右にｍ
画素、上下にｎ画素ずつ２ｍ＋１画素×２ｎ＋１画素の
範囲で移動させて、各移動点における参照画像との輝度
値の差の絶対値の総和を算出して誤差値としており、各
画像領域内で移動させた範囲の中で画像範囲の誤差値が
最小となる点における誤差値の大きさを評価値として、
その点における同ズレのベクトルを図３に示すようにそ
の画像領域の移動ベクトルとして表現している。かかる
構成によると、上述のように小領域に分割すると必然的
に増加する演算量を特徴のある値を選出することにより
減らし、演算の簡単化をはかることが可能となる。

【００２５】ベクトル評価手段５３は、上記画像領域に
特徴がない場合及び同領域内で物体が移動した場合の移
動ベクトルを除外して、すべての画像領域に関してブレ
ベクトル候補を選出する。このとき、手振れによるブレ
は生じていなくても他の要因によって僅かなズレが生じ
た可能性もあることから、パターンマッチング手段５２
から得られた誤差値の最大値と最小値の差に対して極め
て小さい値を閾値とし、同誤差値の差が同閾値より小さ
い場合にはその画像領域には特徴がないものと見なし、
同画像領域で算出された移動ベクトルはブレベクトル候
補から除外する。

【００２６】また、パターンマッチング手段５２から得
られた各領域の評価値で他の画像領域より極めて大きい
値もブレベクトル候補から除外する。例えば、図４の
（Ａ）に示されるように自動車等の移動体が入力画像に
含まれている場合、同図の（Ｂ）に示されるように参照
画像に同移動体がなければ、手振れによる画像範囲のブ
レがなくてもブレベクトル候補として選出されてしま
う。このような場合にもブレの修正が不要なため、ブレ
ベクトル候補から除外している。

【００２７】ベクトル選出手段５４は、上記ブレベクト
ル候補の中から画像位置修正手段５５で画像修正に用い
るブレベクトルを決定する。このとき、上記ブレベクト
ル候補の主成分の分析を行う。パターンマッチングの操
作範囲は、図２に示されるように、左右にｍ画素、上下
にｎ画素ずつ、２ｍ＋１画素×２ｎ＋１画素であるの
で、ブレベクトル候補は１〜（２ｍ＋１）×（２ｎ＋
１）の正数で表現できるようになっている。

【００２８】このベクトル表現の一例として、図５では
ｍ＝２、ｎ＝１のとき、つまり、５×３で上記ブレベク
トル候補をベクトル表現で表した場合の例を示してい
る。同図によると、上記画像範囲のブレがないときのベ
クトル表現は「８」となる。このように、ベクトル評価
手段５３で選出されたブレベクトル候補を上記ベクトル
表現に置き換えて頻度分布を求め、最も頻度の多かった
ベクトル表現をブレベクトルとして決定する。このと
き、最も頻度の多いベクトル表現と二番目に頻度の多い
ベクトル表現及び三番目に頻度の多かったベクトル表現
との差が僅かであるときにはこれらの三つの値の平均値
を算出して用いる。かかる構成により、それぞれのベク
トル表現の特徴を生かして同ベクトル表現の偏りを防ぐ
ことが可能となる。

【００２９】画像位置修正手段５５は、選出されたブレ
ベクトルが入力されると記憶手段５１から保持されてい
る入力画像を読み出した後、上記ブレベクトルの成分
（ｍｘ［画素］、ｍｙ［画素］）に対し、入力画像のｘ
方向のアドレスを−ｍｘ画素、ｙ方向のアドレスを−ｍ
ｙ画素ずらして上書きするとともに記憶手段５１に再び
保持させる。上述のパターンマッチング手段５２と、ベ
クトル評価手段５３と、ベクトル選出手段５４とによっ
てズレ検知手段は構成され、また、ズレ修正手段は上記
画像位置修正手段５５により構成されており、同ズレ検
知手段で検知されたブレベクトル、すなわち、画像範囲
のズレをもとに同ズレ修正手段で入力画像に修正を加え
ている。

【００３０】画像処理手段６０は、スーパーインポーズ
回路から構成され、上記修正画像に字幕を挿入する等の
修正を加えて出力装置７０に同修正画像を出力してい
る。出力装置７０は、ディスプレイから構成されてお
り、上記画像処理装置２０で手振れにより生じた画像範
囲のズレを修正した画像処理手段６０から入力される修
正画像を映像化している。

【００３１】次に、上記構成からなる本実施形態の動作
を説明する。図６は、上記構成からなる画像処理装置内
で行われている相連続する二画像間の画像範囲のズレ検
出と同ズレに基づいたズレ修正とを行う過程のフローチ
ャートを示している。

【００３２】パターンマッチング手段５２は記憶手段５
１から入力画像を読み出すとともに、参照画像生成手段
４０から参照画像を読み出し、あらかじめ設定しておい
た長方形の小領域にそれぞれの画像を分割して各画像領
域についてパターンマッチングを行う。（Ｓ１００） これらの操作を上記すべての画像領域について行い、す
べての移動ベクトルを算出が完了したか否かを確認す
る。（Ｓ１１０） 上記移動ベクトルの算出が完了していなければ続けて残
りの領域に関してパターンマッチングを行い、完了して
いれば次のステップ（Ｓ１２０）に進む。

【００３３】ベクトル評価手段５３は、パターンマッチ
ング手段５２から算出された移動ベクトルに基づいてパ
ターンマッチングをした画像領域に特徴がない場合及び
同領域内で物体が移動した場合の移動ベクトルをブレベ
クトル候補から除外する。（Ｓ１２０） これらの操作を上記すべての画像領域について行い、す
べてのブレベクトル候補を選出が完了したか否かを確認
する。（Ｓ１３０） 上記ブレベクトル候補の選出が完了していなければ続け
て残りの領域に関してベクトル評価を行い、完了してい
れば次のステップ（Ｓ１４０）に進む。

【００３４】ベクトル選出手段５４は上記ブレベクトル
候補の中から最適なものをブレベクトルとして選び出
す。（Ｓ１４０） 画像位置修正手段５５は、上記決定されたブレベクトル
の負の方向に入力画像を移動させる。（Ｓ１５０） このように、カメラで撮った映像による画像が入力され
て記憶手段５１に保持されると、パターンマッチング手
段５２は、参照画像生成手段４０から前一画面分の参照
画像を読み出すとともに、記憶手段５１から一画面分の
入力画像を読み出し、パターンマッチングすることによ
って相連続する二画像間の画像範囲のズレを検知する。
すると、画像位置修正手段５５は、同検知結果に基づい
て入力画像を負の方向にずらして修正画像を生成する。
したがって、手振れによる画像範囲のズレをカメラから
の入力画像のみによって修正し、手ブレ感を解消するこ
とが可能となる。

【００３５】

【発明の効果】以上説明したように本発明は、入力画像
のみに基づいて連続する二画像間のズレを修正できる画
像修正装置を提供することができる。請求項２にかかる
発明によれば、上記画像に含まれる移動体の検知がで
き、画像全体のズレとの区別が可能となる。特に、カメ
ラで撮影した映像等をもとにした画像範囲の手振れ感を
解消したいときには、同カメラの手振れと映像内の移動
体との区別が可能となるため、効果的に手振れによる映
像のズレの修正ができる。

【００３６】請求項３にかかる発明によれば、分割した
画像領域が同面積ならば辺が長い方が領域内に特徴が入
る確率が高くなることから、少ない計算量で画像範囲の
ズレを修正することができる。請求項４にかかる発明に
よれば、アナログ画像を用いたときよりもパターンマッ
チングの処理を容易に行うことができる。

【図面の簡単な説明】

【図１】本発明の一実施形態にかかる画像修正装置を適
用した画像処理装置のブロック図である。

【図２】パターンマッチングにおける分割された画像領
域とその移動範囲を示す図である。

【図３】移動ベクトルを示す図である。

【図４】（Ａ）及び（Ｂ）は、入力画像内に移動体が含
まれている場合の画像と、参照画像とを示す図である。

【図５】ベクトル表現の一例を示す図である。

【図６】画像修正装置の動作状況を説明するための図で
ある。

【図７】従来の画像修正装置のブロック図である。

【符号の説明】

１ 撮影光学系 ２ 固体撮像素子 ３ 撮像回路 ４ Ａ／Ｄ変換器 ５ ズームレンズ ６ 角速度センサ ７ ＣＰＵ ８ 画像メモリ ９ Ｄ／Ａ変換器 １０ 映像信号発生装置 ２０ 画像処理装置 ３０ Ａ／Ｄ変換器 ４０ 参照画像生成手段 ５０ 画像修正装置 ５１ 記憶手段 ５２ パターンマッチング手段 ５３ ベクトル評価手段 ５４ ベクトル選出手段 ５５ 画像位置修正手段 ６０ 画像処理手段 ７０ 出力装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 相連続する二画像について画像内容のパ
   ターンマッチングをして画像範囲のズレを検出するズレ
   検出手段と、上記ズレに基づいて上記二画像間で手振れ
   感が生じないように同画像を修正するズレ修正手段とを
   具備することを特徴とする画像修正装置。
2. 【請求項２】 上記請求項１に記載の画像修正装置にお
   いて、上記ズレ検知手段は、上記二画像を各々任意の領
   域に分割するとともに互いに対応した画像領域ごとにズ
   レを検出することを特徴とする画像修正装置。
3. 【請求項３】 上記請求項１または請求項２に記載の画
   像修正装置において、上記ズレ検知手段は、長方形の画
   像領域をパターンマッチングすることを特徴とする画像
   修正装置。
4. 【請求項４】 上記請求項１〜請求項３のいずれかに記
   載の画像修正装置において、上記ズレ検知手段は、デジ
   タル画像をパターンマッチングすることを特徴とする画
   像修正装置。