JPH0364279A - 画像ブレ検知装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ｃ産業上の利用分野］ この発明は画像ブレ検知装置に関し、特にビデオカメラ
等の画像ブレ検知装置に関するものである。

［従来の技術］ 第５図は従来の画像ブレ検知装置の構成を示すブロック
図である。

以下、図を参照してその構成および動作について説明す
る。

図において、レンズ１より入射した像はＣＣＤよりなる
撮像索子２上に結像される。撮像素子２にて結像された
像は、光電変換され線順次信号として出力される。撮像
素子２の出力は増幅器３にて増幅された後、信号処理部
４で輝度、色差信号に分割され、フィールドまたはフレ
ームメモリ５に入力される。フィールドまたはフレーム
メモリ５から出力された画像信号は、エンコーダ６にて
変調された後、映像信号ＳＶＬ、て出力される。フィー
ルドまたはフレームメモリ５の具体的処理としては、信
号処理部４より出力された輝度、色差信号が記憶され、
メモリコントロール部９より出力されたブレ補正量に従
って必要な画像の領域のみ読出すことによりブレ補正が
行なわれる。

なお、ブレ補正は、タイミング発生部１０により撮像素
子の読出方法を変更することによっても可能である。

一方、ブレ量を検出するために信号処理部４より出力さ
れた輝度信号は、フィールドまたはフレームメモリ３０
に記憶され、さらにフィールドまたはフレームメモリ３
０からの出力は、フィールドまたはフレームメモリ３２
にも記憶される。これにより、フィールドまたはフレー
ムメモリ３０には、現フィールドまたはフレームの輝度
変化が、フィールドまたはフレームメモリ３２には前フ
ィールドまたはフレームの輝度変化が各々のデータとし
て蓄えられる。

次に、従来装置によるブレ検出方法について述べる。

第６Ａ図は前フイールド画像の画素の輝度状態を示す図
であり、第６Ｂ図は現フィールド−像の画素の輝度状態
を示す図である。

まず、ブレ量を検出するために各画素の輝度値に基づい
た相関関数を求める。この例として、４Ｘ４画素のＩｉ
１！ｉ像のψ央２×２画素の領域について水・ＩＬ３画
素、垂直３画素のシフト量について求める。

今、現フィールドの両像素子２２の中の画素ａ２□　、
ａ２３　　、ａｌ３　　、ａ１３′が、輝度値１、その
他が輝度値０であり、一方面フイールドの画像素子２２
の中の画素ａ２１、ａ、２、ａｌ３、ａ４３が輝度値１
、その他が輝度値０であった場合を想定する。図におい
て、輝度ｆｆ１１の画素には斜線を施しである。

まず、現フィールドの画素ａ２２　　、ａ２３ａ３２、
ａ３３′の中央４画素と、前フィールドの画素ａｌ　Ｉ
、ａｌ２、ａ２１、ａ２２の４画素について相関係数を
求めると、 ａ２２’Ｘａｌｌ＋ａ２３　　Ｘａ＋２＋ａ３２　　×
ａ２＋＋ａａａ′　×ａ２２−。

となり、相関係数は０となる。

次に、画素８２２　　％ａｚａ　　ｓ＆３２　１ａ３、
′と画素ａｌ　２％　ａｌ　ａ、ａ２２、ａ２□につい
て相関係数を求めると、 ａ２ｚ　’　Ｘａ＋　２　＋ａ２３　’　Ｘａｌ　３＋
ａａ　２　”　ａ２２　＋ａａ　ｚ　’　Ｘａ２　ａ　
−１となり、相関係数は０となる。間様にして垂直、水
平にシフトして相関係数を求めた結果が第７図に示した
表である。

第７図においては、上欄が水平シフトｍ（−１，０，１
）を示し、左欄が垂直シフトＪＲ（−１，０，１）を示
している。これらの相関係数の最大値を求めると垂直シ
フト量−＋１、水平シフトｆ１−０のときの相関係数３
である。よってブレ量はこの相関係数が最大値のシフト
量に基づいて、垂直ブレ量−一１、水平ブレミーｏと判
定され、これによってブレ量が検出できる。

第８図はこのブレ量検出部の内部構成を示すブロック図
である。

図において、ブレ量検出部は前フィールドの画素ａｌｌ
〜ａ４４の輝度値として、フィールドまたはフレームメ
モリ３２から出力された輝度値と、現フィールドの中央
画素ａ２□　、ａ２．、ａｌ２　　、ａｇ＠′の輝度値
としてフィールドまたはフレームメモリ３２から出力さ
れた輝度値とを乗算する乗算器３６と、乗算器から出力
された値を加算する加算器３８と、加算器３８から出力
された値に基づいて、水平ブレｆｆ１ＨＤおよび垂直ブ
レ両ＶＤとを検出する最大値検出部４０とから構成され
る。図から明らかなように、この例の場合乗算器は４Ｘ
９−３６個、加算器９個（２人力加算器に換算すると９
Ｘ３−２７個）となり、膨大な回路が必要となる。

［発明が解決しようとする課Ｗｉ］ 以上のように従来の画像ブレ検知装置のブレ量検出を行
なう方法の１つとして、画像の前フィールドまたはフレ
ームの褌度ｆ＝号と、現フィールドまたはフレームの輝
度信号との２次元相関関数を求め、その最大値の点にお
ける画像シフト量を求めることにより、ブレ量を検出す
ることができる。

画像の各画素の輝度値を”Ｌ＋Ｌ、水平方向の画像シフ
ト量をｕ１垂直方向の画素シフト量をＶと置くと、２次
元相関関数ｆ　（ｕＳｖ）は、ｆｃｕ、　　ｖ　）＝　
ｉＸ、（εしに、Ｌ　ｌ　ａ＜＋ｕ、　Ｌ十Ｖ　　）で
得られる。ここで相関を求める水平の最大シフト量をｍ
１垂直の最大シフト量をｎ１画像の画素数を水平１１垂
直ｊとすると、成る点Ｌｌ””ｕｌ、ｖ−ｖ、における
相関係数ｆ（ｕ＋、ｖ＋）を求める演算口数は、乗算ｉ
ｘｊ回、加算ｉｘｊ回となる。

さらに、０≦Ｕ≦ｍ、０≦Ｖ≦ｎにおける全相関係数ｆ
　（ｕ＝　ｖ）を求めるには、乗算ｉＸｊＸｍｘｎ回、
加算（ｉｘｊ−１）ｘｍＸｔＩ同の演算回数が必要とな
る。たとえば画素を１０×１０画素、シフト量を水平、
垂直共に１０画素とすると、全相関係数を求めるために
は、乗算１００００回、加算９９００回が必要となる。

また、画像を１００Ｘ１００画素、シフト量を１００画
素とすると、全相関係数を求めるには乗算１０６回、加
算約１０６回となる。このような演算を１フイールドを
１７６０秒、または１フレームを〕７３０秒で行なうい
わゆるリアルタイムで処理することは失際上困難である
。理論上この時間で処理しようとすると、乗算器、加算
器の数が膨大なものとなり、小型カメラに組込むには非
常に困難であった。

この発明は、かかる課題を解決するためになされたもの
で、回路規模が小さくてすむ画像ブレ検知装置を堤供す
ることを目的とする。

［課題を解決するための手段］ この発明に係る画像ブレ検知装置は、行と列とからなる
マトリックス状に配置された画素を含み、各々の画素の
位置に対応した画像の輝度値を順次測定する輝度値測定
手段と、画素ごとに測定された輝度値を、画素の行また
は列ごとに加算する加算手段と、 加算手段による加算データを記憶する記憶手段と、画素
の中から、少なくとも画素の周辺の画素を除いた所定の
画素に対応する行または列の加算データによる新たな加
算データと、記憶手段によって記憶されている加算デー
タとに基づいて、所定の相関演算を行なう相関演算手段
と、相関演算手段による演算結果に基づいて、画像の行
または列方向のブレ量を検出するブレ量検出手段とを備
えたものである。

［作用］ この発明においては、行または列ごとに画素の輝度値を
加算した加算データと、特定の画素に対応した新たな加
算データとに基づいて演算を行なうので、演算回路の規
模が縮小される。

［実施例］ 第２図はこの発明の一実施例による画像ブレ検知装置の
構成を示すブロック図である。

以下、図を参照してこの構成および動作について説明す
る。

図において、レンズ１より入射した像はＣＣＤよりなる
撮像素子２上に結像される。撮像素子２で結像された像
は光電変換され、線順次信号として出力される。撮像素
子２の出力は増幅器３にて増幅された後、信号処理部４
で輝度、色差信号に分離され、フィールドまたはフレー
ムメモリ５に入力される。フィールドまたはフレームメ
モリ５から出力された画像信号は、エンコーダ６にて変
調された後、映像信号Ｓｖとして出力される。フィール
ドまたはフレームメモリ５の具体的処理としては、信号
処理部４より出力された輝度、色差信号がフィールドま
たはフレームメモリ５に記憶され、メモリコントロール
部９より出力されたブレ補正量に従って、フィールドま
たはフレームメモリ５から必要な画像の領域のみ読出す
ことによりブレ補正が行なわれる。

なお、ブレ補正は、タイミング発生部１０により撮像素
子の読出方法を変更することによっても可能である。

一方、信号処理部４の出力である輝度信号は、フィール
ドまたはフレームメモリ７にもａ記憶され、この記憶デ
ータに基づいて、ブレ量検出部８にてブレ量の検出が行
なわれる。メモリコントロール部９にて検出されたブレ
量に基づく補正量に従って、メモリ読出タイミングが生
成され、このタイミングによってフィールドまたはフレ
ームメモリ５に記憶された画像の必要な領域のみが出力
されてブレ補正が行なわれる。

なお、ブレ補正は、タイミング発生部１０により、撮像
索子の読出方法を変更することによってもｉｉｌ能であ
る。

次に、この実施例によるブレ量の検出方法について述べ
る。

例として撮像索子が４Ｘ４画素より構成されているもの
とする。

第３Ａ図は前フィールドの画素の輝度状態を示す図であ
り、第３Ｂ図は現フィールドの画素の輝度状態を示す図
である。ブレ量の検出は中央２×２画素について行なう
ものとする。なお、図においては輝度値１の画素には斜
線を施しである。まず、第３Ａ図において前フイールド
画像の輝度値を垂直または水平方向に加算する。垂直方
向に加算したデータをｂＩ　、ｌ）２　、ｂｓ　、ｂ＜
　、水平方向に加算したデータをｄ＋、ｄ２、ｄ３、ｄ
４とする。すなわち、 ｂｌ−ａ１＋　＋ａ２１＋ａ、ｌ　＋ａ、Ｉ　％ｂ２　
−ａ　Ｉ　　２　　”ａ２２　　＋ａ３　２　　＋ａ４
２　％ｃｉ、　−ａｌ　Ｉ十ａ、　２　＋ａｊ　ｌ　＋
ａｌ　４　％として加算データが演算される。

今、第３Ａ図では画素ａｌ　２　ｓ　ａ２３　、ａｌ　
３、ａ４３が輝度値１、それ以外の画素が輝度値０であ
るので、加算データｂ、〜ｂ、、ｄ、〜ｄ４は図に示す
ような値となる。

次に第３Ｂ図に示すように、現フイールド画像が前フイ
ールド画像に対して垂直方向に１副索ブレを生じた画像
となったと想定する。第３Ｂ図の各画素についても、第
３Ａ図と同様に垂直方向および水平方向に輝度値を加算
し、その加算データをｂｌ　　、ｂｌ、ｂ３　　、ｂ４
　　、ｄｌ’　２　　、ｄ　３　　、ｄ　ａ　’　とす
る。

次に、現フィールド（第３Ｂ図）の水平および垂直のブ
レ量を求めるために、中央２画素に相当する加算データ
（水ｉＩｉ、方向・・・ｂｌ　、ｂ３　、垂直・・・ｄ
２　、ｄ、’）と、第３Ｂ図の前フィールドにおけるデ
ータｂ、〜ｂ４およびｄ、〜ｄ、についての相関係数を
求める。

すなわち、水平シフト量として、 ＨＤ　（−１）−ｂ２’　ｘｂ、　十す、’　Ｘｂ２−
３ＨＤ　（０）−ｂ２’　　Ｘｌ）２＋ｂ、’　　ｘｂ
、−１０ＨＤ　（１）−ｂ２’　Ｘｂ、＋ｂ、’　Ｘｂ
４讃３となる。

なお、（）の数は水平方向のシフト量を示す。

同様に、垂直シフトｍＶＤとして、 ＶＤ　（−１）−ｄ２’　ｘｄ、＋ｄ、’　ｘｄ２−Ｉ
ＶＤ　（０）−ａｄ２’　ｘｄ２＋ｄ、’　Ｘｄ、”４
ＶＤ　（１）−ｄ２’　ｘｄ、　十ｄ、’　ｘｄ４−５
となる。

なお、（）の数は垂直方向のシフト量を示す。

第４Ａ図および第４Ｂ図は、上記によって求められた水
・Ｖおよび垂直方向のシフトに基づく相関係数の値を示
した表である。

図から明白なように、水平シフト量ではＯの点で最大の
相関係数１０をとり、垂直シフト量では１の点にて最大
の相関係数５をとることがわかる。

これによりブレ量は水平方向０１垂直方向−１であるこ
とが判明する。

第１図は第２図のブレ量検出部の内部構成を示すブロッ
ク図である。

図において、前フィールドの画像ａｌｌ〜ａ。

４の輝度値は、水平方向および垂直方向にその値を加算
すべく、４つの画素ごとに垂直方向として加算５ｘ２ａ
〜１２ｄに、水平方向として加算器１２ｅ〜１２ｈに人
力される。前フィールドの加算データｂ、〜ｂ４は、フ
リップフロッブレジスタ１４ａ〜１４ｄに、加算データ
ｄ、〜ｄ、はフリップフロッブレジスタ１４ｅ〜１４ｈ
に各々記憶される。

次に、現フィールドの画像ａ、、’　〜ａ４４の輝度値
も同様に水平方向および垂直方向に加算される。加算デ
ータは同様にフリップフロッブレジスタ１４ａ　〜１４
ｄ、１４ｅ　〜１４ｈに記憶されるとともに加算データ
ｂ２　　、ｂ３　　％ｃ１２およびｄ、／　は直接乗算
器１６ａ〜１６悲の中の所定の乗算器に入力される。一
方、現フィールドの加算データの入力によって、フリッ
プフロッブレジスタ１４ａ〜１４ｈから、前フィールド
の加算データｂ１〜ｂ、およびｄ、〜ｄ４が出力され、
所定の乗算器に人力される。乗算器で乗算されたデータ
は、２組ごとに加算器１８ａ〜１８ｆに入力され、水平
および垂直シフト量が演算される。

演算された水平および垂直シフト量は、最大値検出部２
０ａおよび２０ｂに各々人力され、そこで最大のシフト
量をもとに水平ブレ３１１１（Ｄおよび垂直ブレ量ＶＤ
が検出される。

以上の方法にて使用される演算器は、乗算器１２個、加
算器１４個（２人力加算器換算で３０個）となり、従来
方式の場合の乗算器３６個、加算器２７個に比べて回路
規模が大幅に縮小できる。

上記の実施例を一般の画像処理装置に適用して考えた場
合、画像の水平、垂直画素数をそれぞれｉＳｊとすると
、水平方向のブレ量を求めるために垂直方向に加算する
回数は（ｊ−１）Ｘｉ回（２人力加算器に換算）、相関
係数を求めるための乗算回数は水平の最大シフト量をｍ
とすると、ｉｘｍ回、相関係数を求めるための加算回数
は（ｉ−１）Ｘｍとなり、総計で乗算器ｉｘｍ個、加算
器（ｊ−１）Ｘｉ＋（ｉ−１）Ｘｍ個となる。

また、垂直方向のブレ量検出のための演算数は、同様に
乗算器ｊＸｎ個、加算器（ｉ−１）Ｘｊ＋（ｊ−１）Ｘ
ｎ個となる。

具体的には、１００Ｘ１００画索の画像で、１００画素
のシフト量にて演算を行なうと、乗算器：　１００ｘ１
．００＋１００ｘｉ　００−．２×１０４個 加算器：　　（１００−１）Ｘ１００＋　（１００１）
Ｘ１００＋　（１００−１）Ｘ１００＋　（１００−１
）　Ｘ１００−３．９６Ｘ１０’個が必要となるが、従
来の２次元相関係数を求める方法であれば、乗算器が１
０６個、加算器が約１０６個必要であり、乗算器で１１
５０．加算器で約１／２５に回路規模が縮小できること
になる。

なお、上記実施例では、加算データｂ、〜ｂ。

を求める際に、垂直方向の全画素を加算したが、実際に
は予想される垂直方向の最大ブレ量に相当する画素の２
倍の画素について加算するだけでもす、〜ｂ４とす、　
〜ｂ４′との相関性は十分とれる。このようにすること
によって、垂直方向の加算数を減少させることにより、
さらに加算器の数を減することができる。これは水平方
向の加算についても同様に適用できるものである。

［発明の効果］ この発明は以上説明したとおり、２次元のブレ量を検出
するのに、２次元の相関係数を求めるのではなく、まず
、１次元の水平および垂直方向の輝度変化に変換した上
で、１次元の相関係数を求めることにより行なうので、
ブレ量検出に要する回路規模を大幅に縮小することがで
きる。

【図面の簡単な説明】

第１図ないし第４Ａ図および第４Ｂ図はこの発明の一実
施例によるものであり、第１図はブレ量検出部の内部構
成を示すブロック図、簗２図は画像ブレ検知装置の構成
を示すブロック図、第３Ａ図は前フィールドの画素の輝
度状態を示す図、第３Ｂ図は現フィールドの画素の輝度
状態を示す図、第４Ａ図は水平シフト量に基づく演算結
果を示す図、第４Ｂ図は垂直シフト量に基づく演算結果
を示す図である。 第５図〜第８図は従来例を示すものであり、第５図は画
像ブレ検知装置の構成を示すブロック図、第６Ａ図は全
フィールド画像の画素の輝度状態を示す図、第６Ｂ図は
現フイールド画像の画素の輝度状態を示す図、第７図は
２次元相関演算に基づく演算結果を示した図、第８図は
第５図のブレ量検出部の内部構成を示したブロック図で
ある。 図において、２は撮像素子、７はフィールドまたはフレ
ームメモリ、８はブレ量検出部、９はメモリコントロー
ル部、１２８〜１２ｈは加算器、１４ａ〜１４ｈはフリ
ップフロッブレジスタ、１６ａ〜１６ｆＬは加算器、１
８ａ　〜１８ｆは加算器、２０ａ、２０ｂは最大値検出
部、２２はマトリックス状に配置された画素である。 なお、各図中、同一符号は同一または相当部分を示す。

Claims (1)

1. 【特許請求の範囲】 行と列とからなるマトリックス状に配置された画素を含
   み、各々の画素の位置に対応した画像の輝度値を順次測
   定する輝度値測定手段と、 前記画素ごとに測定された輝度値を、前記画素の行また
   は列ごとに加算する加算手段と、前記加算手段による加
   算データを記憶する記憶手段と、 前記画素の中から、少なくとも前記画素の周辺の画素を
   除いた所定の画素に対応する行または列の前記加算デー
   タによる新たな加算データと、前記記憶手段によって記
   憶されている加算データとに基づいて、所定の相関演算
   を行なう相関演算手段と、 前記相関演算手段による演算結果に基づいて、画像の行
   または列方向のブレ量を検出するブレ量検出手段とを備
   えた、画像ブレ検知装置。