JPH08123784A

JPH08123784A - データ処理方法及び装置

Info

Publication number: JPH08123784A
Application number: JP6265058A
Authority: JP
Inventors: Mamoru Miyawaki; 守宮脇; Katsuhisa Ogawa; 勝久小川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-10-28
Filing date: 1994-10-28
Publication date: 1996-05-17

Abstract

(57)【要約】【目的】データ相関検出を高速、しかも高精度で実現
する相関アルゴリズムならびにそれを効率よく達成する
装置を提供することである。【構成】画像１の両脇に動き検出のための相関演算を
しないマスキング領域６を設け、マスキング領域６の画
像データは相関演算時には使用しない。マスキング領域
６外のデータ領域７と画像２との間で画像１のデータ領
域７と同一の画像枠の大きさの画像データを画像２から
抽出し、相関演算を行い、前記画像枠を画面の左から右
へ（または右から左へ）移動させることによって、画像
２の部分でデータ領域７と最も相関の強いデータ領域８
を検出し、画像１のデータ領域７と画像２のデータ領域
８の空間的な移動量を動きベクトル９として検出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はデータ処理方法／装置に
関し、特にデータの相関演算を行うためのデータ処理方
法／装置に関するものである。

【０００２】

【従来の技術】近年、パソコン、液晶表示装置、通信技
術の発達と共に映像情報を扱うマルチメディア機器の開
発が盛んである。

【０００３】映像情報が取り込める様になった要因の１
つに画像データを圧縮／伸張する技術がある。

【０００４】動画像圧縮処理として現在標準化が進めら
れているＭＰＥＧ２（Moving Picture Image Coding Ex
perts Group Phase 2 ）については、動き補償による時
間方向の冗長度削減、ＤＣＴ（Discrete Cosine Transf
orm ：離散コサイン変換）による空間冗長の圧縮、ハフ
マン符号化（可変長符号化）による符号量圧縮からなる
が、特に動き補償に必要な動きベクトル検出処理に圧倒
的に処理量を必要とする。

【０００５】以下、従来の動きベクトル検出方法（ブロ
ックマッチング法）について簡単に述べる。

【０００６】図１８はブロックマッチング法を説明する
図である。

【０００７】図１８において、７００は時刻ｔ１におけ
るフレーム画像、７０１は時刻ｔ２におけるフレーム画
像でｔ１＜ｔ２の関係より、７００を前フレーム画像、
７０１を現フレーム画像と呼ぶ。

【０００８】ブロックマッチング法は現フレーム画像７
０１を小ブロック単位に分割し、各ブロック単位毎に前
フレーム画像７００との相関が最も強い画像ブロックを
探索するものである。

【０００９】７０３は現フレーム画像７０１から選出さ
れた基準画像ブロックである。ＭＰＥＧ２等では基準画
像ブロック７０３の大きさは１６×１６画素程度であ
る。

【００１０】この基準画像ブロック７０３が前フレーム
画像７００内に設定された探索領域７０４内において最
も相関の近いブロックを相関演算にて求める。

【００１１】その相関演算の結果、前フレーム画像内の
探索領域７０４の中で基準画像ブロック７０３と最も相
関の強い画像ブロック７０５を検索したとする。この場
合、この画像ブロック７０５と基準画像ブロック７０３
の空間的な位置のずれを計算し、動きベクトル７０６を
決定する。

【００１２】

【発明が解決しようとする課題】上述したブロックマッ
チング法は、単位画素間の差分誤差を計算し、ある定め
られた探索領域内の全ての誤差を累積加算して、前記探
索領域の相関誤差値として記憶される。

【００１３】他の探索領域の相関誤差値と比較され最も
相関の高いブロックを求め、前フレームとの位置関係に
より動きベクトルを算出する。

【００１４】このようにブロックマッチング法は単体画
素間の差分誤差を基本としているため、動きベクトル検
出には膜大な演算量を必要としていた。

【００１５】例えば、現行テレビジョン放送のＮＴＳＣ
信号で基準ブロックを１６×１６画素、サーチ範囲±１
６画素とした場合、その演算量は約２０Ｍｂｐｓ、また
大きな動き、例えば±１００画素等の動きベクトルにな
ると、その処理能力は数Ｔｂｐｓを超え、並列処理技術
を使用しても１チップＬＳＩ化は難しく、低コストのＬ
ＳＩの実現は不可能であった。

【００１６】特に、高速移動物体の追尾処理となると探
索領域を大きく取らなければならず、演算処理が追いつ
かず誤検出の原因となっていた。

【００１７】本願発明はかかる背景下に於て、一つの目
的として上述した技術課題を解決し高速、しかも高精度
で実現する相関アルゴリズムならびにそれを効率よく達
成する装置を提案することである。

【００１８】さらに上記装置を用いて、動画処理に広く
適応できる動き検出処理、測距処理、パターン認識等の
応用形態をも提供することである。

【００１９】また、本発明の他の目的及び特徴は以下の
明細書及び図面より明らかとなるであろう。

【００２０】

【課題を解決するための手段】上記目的を達成するた
め、一つの好適実施態様において、データ処理方法は、
第１のデータ集合から選択された第１の選択領域と、第
２のデータ集合から選択された第２の選択領域との相関
演算を行う場合、前記第１の選択領域の一部をマスキン
グし、前記マスキングした以外の前記第１の選択領域を
基準に、前記第２の選択領域との間で同一データ長で相
関演算することを特徴とする。

【００２１】また、一つの好適実施態様において、デー
タ処理装置は、画像データを入力する入力手段と、前記
入力された画像データの一部をマスキングするマスキン
グ手段と、前記入力された画像データの水平及び垂直方
向の累積和を演算する演算手段と、前記マスキング手段
によりマスキングされた画像データ以外の前記累積和に
より画面間の動きを検出する検出手段とを有することを
特徴とする。

【００２２】また、一つの好適実施態様において、デー
タ処理方法は、第１のデータ集合から選択された第１の
選択領域と、第２のデータ集合から選択された第２の選
択領域との相関演算を行う場合、前記第１の選択領域の
一部をマスキングし、前記第２の選択領域にダミーデー
タを付加し、前記マスキングした以外の前記第１の選択
領域を基準に、前記ダミーデータが付加された前記第２
の選択領域との間で同一データ長で相関演算することを
特徴とする。

【００２３】

【作用】上記発明によれば、従来よりも簡単な回路構成
により、高速に、かつ高精度にデータの相関を検出する
ことができる。

【００２４】

【実施例】

〔第１の実施例〕図２に時刻ｔ１における画像１と時刻
ｔ２（ｔ１＜ｔ２）における画像２とを示す。

【００２５】画像１には人物３とその右側に樹木４があ
る。画像２には時刻ｔ１からｔ２に移動した結果とし
て、人物３は画像１よりも左側に移動している。

【００２６】つまり、画像１と画像２とのはカメラが右
側にパンした状態と同等である。

【００２７】その結果、画像１の樹木４の画像データは
なくなり、画像２の樹木５の画像データが新しく画像デ
ータとして取り込まれた状態になっている。

【００２８】つまり、画像２の状態は、画像１の樹木４
が画角からはずれ樹木５が新たに画角上に入り、人物３
が右側に移動した状態となっている。

【００２９】図１は、本発明かかる動き検出の原理を説
明する図である。

【００３０】図１において、画像１の両脇に動き検出の
ための相関演算をしないマスキング領域６を設け、マス
キング領域６の画像データは相関演算時には使用しな
い。

【００３１】マスキング領域６外のデータ領域７と画像
２との間で画像１のデータ領域７と同一の画像枠の大き
さの画像データを画像２から抽出し、相関演算を行う。
前記画像枠を画面の左から右へ（または右から左へ）移
動させることによって、画像２の部分でデータ領域７と
最も相関の強いデータ領域８を検出する。画像１のデー
タ領域７と画像２のデータ領域８の空間的な移動量が動
きベクトル９として検出される。

【００３２】画像１の左右にマスキング領域６を設けた
為、画像２では移動して見えなくなった画像１の樹木４
の画像データを予めリファレンスデータから除くことが
できる。

【００３３】これにより、画像１のデータ領域７と画像
２のデータ領域８は相関の高い数値を出すことができ
る。これによりＳ／Ｎの改善が図れる。

【００３４】今まで説明した例は、水平方向の移動ベク
トルの検出例であったが、同様に垂直方向の移動ベクト
ルも同じ原理で検出できる。

【００３５】また、この動き検出法はカメラのパンのよ
うな動きだけではなく、人物の移動、物体の移動等、マ
スク領域を適応的に設定することで同様の効果が得られ
る。

【００３６】〔第２の実施例〕図３は時刻ｔ１における
画像１０と時刻ｔ２（ｔ１＜ｔ２）における画像１１と
を示し、人物１２が水平方向に移動した画像を示してい
る。

【００３７】図３において、１０は時刻ｔ１の基準画
像、１１は移動後の時刻ｔ２の画像である。

【００３８】人物１２が右側に移動することによって柱
１４がすべて見え、電線１３が見え隠れしてしまう。す
なわち、マクロ的に画像を見ると画像１０と画像１１に
は新しい情報と失った情報とがある。

【００３９】図４に本発明による人物１２の水平移動時
の動き検出の原理を説明する図である。

【００４０】基準画像１０の左右にそれぞれ演算には使
用しないマスキング領域１５を設け、マスキング領域１
５外のデータ領域１６と画像１１との間でデータ領域１
６と同一の画像枠の画像データを抽出して相関演算を実
行する。

【００４１】前記画像枠を画面の左から右へ（または右
から左へ）移動させることによって画像１１の部分でデ
ータ領域１６ともっとも相関の強いデータ領域１７を検
出する。

【００４２】画像１０のデータ領域１６と画像１１のデ
ータ領域１７はまったく同一の画像であるので、最高の
相関を示す。

【００４３】データ領域１６とデータ領域１７の空間的
な移動ベクトル１８を検出することができる。

【００４４】〔第３の実施例〕図５は、時刻ｔ１におけ
る画像１９と時刻ｔ２（ｔ１＜ｔ２）における画像２０
とを示し、人物１２が垂直方向に移動している画像を示
す。

【００４５】図５において、１９が移動前の時刻ｔ１の
基準画像、２０が移動後の時刻ｔ２の画像である。

【００４６】図６に本発明による人物１２の水平移動時
の動き検出の原理を説明する図である。

【００４７】図６に本発明による顔の垂直方向移動時の
動き検出方法を示す。

【００４８】図６において、基準画像１９の上下にそれ
ぞれ演算には使用しないマスキング領域２１を設け、マ
スキング領域２１以外のデータ領域２２と画像２０の間
で、データ領域２２と同一の画像枠で画像データを抽出
し、相関演算を実行する。

【００４９】前記画像枠を上から下（または下から上）
へ移動させることによって、画像２０の部分で前記画像
領域ともっとも相関の強い領域２３を検出する。前記画
像１９の領域２２と前記画像２０の領域２３は同一画像
であり、ゆえに最高のＳ／Ｎで検出できる。すなわち、
前記領域２２と領域２３の空間的な移動ベクトル８００
を検出することができる。

【００５０】前記人物１２が上から下に移動することに
より前記人物１２の頭に隠れていた電線１３が現れる
が、本発明によれば、前記人物１３の移動によって発生
した画像部は前記マスキング領域２１により相関演算部
からはずす為、前記画像１９の領域２２と前記画像２０
の領域２３はベストマッチングとなり、高Ｓ／Ｎの検出
が可能となる。

【００５１】〔第４の実施例〕第４の実施例では上述し
た実施例で用いたマスキング領域を設定し、かつＸＹ射
影法による相関演算処理を示す。

【００５２】図７（ａ）は静止状態時を説明する図であ
り、図７（ｂ）は移動状態を説明する図である。

【００５３】尚、ここでは水平方向の動き検出方法を説
明するが、同様の方式で垂直方向の動き検出も可能であ
る。

【００５４】図７において、探索ブロック８０１に動き
ベクトルを検出する移動物体８００が存在する。探索ブ
ロック８０１のうち相関演算に使用しない第１のマスキ
ング領域を８０２に、第２のマスキング領域を８０３に
示す。

【００５５】この領域は相関演算領域から外し、時刻ｔ
１と時刻ｔ２の間で同一のデータ枠で画像データを抽出
し相関演算を実行する。

【００５６】波形ａ_t1は時刻ｔ１時の垂直（Ｖ）方向射
影出力であり、垂直方向の画素値の累積和を取ったもの
であり、信号レベルは白＞灰＞黒の大小関係を持つ。

【００５７】すなわち、波形ａ_t1は垂直方向の画素値を
圧縮したものとなり、灰及び黒部分の信号値は小さくな
る。

【００５８】波形ａ_t2は時刻ｔ２（ｔ１＜ｔ２）時のＶ
方向射影出力であり、この場合注目している移動体８０
０は時刻ｔ１，ｔ２で静止状態であり、双方のＶ方向射
影出力ａ_t1、ａ_t2空間的には同一波形であり、その絶対
差分値は０となり、移動体８００は静止状態にあること
が確認できる。

【００５９】また、この時、第１及び第２のマスキング
領域内の物体８０４、８０５、８０６のＶ方向射影像は
演算領域から外されているので相関演算されない。

【００６０】次に、移動体８００及び周辺画像も移動し
た時の本実施例における動き検出相関演算を説明する。

【００６１】図７（ｂ）に移動体８００が時刻ｔ１から
ｔ２で水平方向に＋ｉ（右方向）、垂直方向に＋ｊ（上
方向）に移動、時刻ｔ１にマスキング領域８０３内の物
体８０４は移動により、探索ブロック８０１外にはずれ
る。

【００６２】また、物体８０５は上方向に物体８０６は
右方向に移動して半分以上かけた状態になっている。

【００６３】また、マスキング領域８０２は時刻ｔ１に
は物体が存在しない白地の画像である。

【００６４】時刻ｔ２には左側から物体８０７及び８０
９が移動して、探索画像８０１の枠内に存在する。

【００６５】しかし、これらの移動体はマスキング領域
８０２、８０３内での物体の移動、発生、消滅である
為、実際の相関演算領域から外され動き検出の為の相関
演算は移動体８００の移動量の射影波形ｂ_t1（時刻ｔ
１）とｂ_t2（時刻ｔ２）で行える。

【００６６】時刻ｔ１とｔ２の空間的移動量＋ｉはＶ方
向射影波形ｂ_t1，ｂ_t2の水平方向のずれとして検出され
る（垂直方向の移動量も水平方向射影波形で同様の原理
で検出できる）。

【００６７】すなわち、移動体８００は水平方向にｉだ
け進んだことが周辺の移動体の影響を受けずに検出でき
る。

【００６８】マスキング領域８０２、８０３の設定量
は、移動物体の移動量の０．５〜４倍程度に設定してお
くことが望ましい。

【００６９】このように画像の射影出力とマスキング設
定による不要な部分の演算をすることで高速、高Ｓ／Ｎ
化が可能である。

【００７０】射影出力を得る為には、各画素値の累積加
算和を求めればよく、デジタル及びアナログ方式のどち
らのやり方でも良い。

【００７１】アナログを例に取るとイメージセンサーの
各画素のアナログ値を、所定ブロック毎に垂直（及び水
平）に加算してやれば良い。この演算はアナログ演算で
あり、ほぼリアルタイムでの実行が可能である。

【００７２】ゆえに離散画素の差分値の累積誤差より相
関の大小を求めるブロックマッチング法と比べると演算
処理時間は１桁以上、マスキング領域付きＸＹ射影法が
速い。

【００７３】図８に図７の動き検出方法を用いてシュミ
レーションを行った結果を示す（Ｖ射影波形による水平
方向の動き検出の場合）。

【００７４】時刻ｔ１における基準原画像３８の両端に
相関演算をしないマスク領域３９を設定、それ以外をデ
ータ領域として相関演算用基準画像４０を生成する。

【００７５】時刻ｔ２における画像４１を探索画像とし
て、基準画像４０と同等の画像枠で探索画像４１を抽出
し（画像４２〜４６）、基準画像４０の垂直方向の射影
波形４７と、基準画像４０と同等な画像枠で構成され、
空間的にサンプリングシフトした画像４２〜４６の射影
波形４２”〜４６”の射影波形を４２’〜４６’に示
す。

【００７６】波形４７と４２”〜４６”間の差文絶対値
が最少なものが水平方向の空間的動き量である。

【００７７】図８の場合、基準画像４０と探索画像４１
の位置関係は水平方向＋１０画素であることがわかる。

【００７８】また、図８の場合移動対の移動量に対して
２倍の２０画素をマスキング領域として設定している、
移動量とマスキング領域の関係は、おおよそ移動量の
０．５〜４倍程度にマスキング領域として設定するのが
望ましい。

【００７９】〔第１の実施例のＬＳＩ回路〕次に、以上
に説明した本発明の動き検出のアルゴリズムを実行する
第１の実施例のＬＳＩ回路構成を図９を用いて説明す
る。

【００８０】５０は画像データマトリクスの２次元列
（ｍ×ｎ画素）であり、センサー、半導体メモリ、ＣＤ
−ＲＯＭ等画像情報を時系列で供給できるハードウェア
である。

【００８１】画像情報ハードウェア５０は、１フレーム
全画面の場合もある。今、時間ｔ_１に置ける画素データ
をそれぞれＸ_ｔ１ ^１，１、Ｘ_t1 ^1,2 〜Ｘ_t1 ^1,m 、Ｘ_t1
^2,1 〜Ｘ_t1 ^n,1 〜Ｘ_t1 ^n,m とする。

【００８２】それぞれのデータは行方向（水平方向）及
び列方向（垂直方向）に累積加算器５１、５２によって
射影値を出力する。水平方向側の射影出力及びその後の
処理は垂直方向のデータ処理と変わらないため、ここで
は省略する。

【００８３】累積加算器５１によって得られる、時刻ｔ
１におけるＶ射影出力

【００８４】

【外１】（画像データマトリクスがｍ列であるのでｍ個の出力が
存在するが説明上省略している）のｍ個の出力がバッフ
ァ５９、６０、６１、６２〜６３、６４のに入力され
る。

【００８５】時刻ｔ１においてスイッチ６５はすべてＢ
側に倒れている。それぞれの出力はホールド回路６６、
６７、６８〜６９、７０、７１に時刻ｔ１のＶ射影出力
が列毎にｍ個ホールドされる。

【００８６】次に、時刻ｔ２におけるＶ射影出力

【００８７】

【外２】はｍ個の出力５９，６０，６１〜６２，６３，６４に入
力される。

【００８８】時刻ｔ２における制御信号７８においてス
イッチ６５はすべてＡ側に倒れる。

【００８９】それぞれの出力結果は出力アンプ５９，６
０，６１〜６１，６３，６５を介して、ホールド回路７
２，７３，７４〜７５，７６，７７に時刻ｔ２のＶ射影
出力が列毎にｍ個ホールドされる。

【００９０】したがって、ホールド回路６６，６７，６
８〜６９，７０，７１には時刻ｔ１のｍ個のＶ射影出力
が、ホールド回路７２，７３，７４，７５，７６，７７
には時刻ｔ２のｍ個のＶ射影出力が保持されている。

【００９１】７９は探索画像射影データ（時刻ｔ２）転
送用のシフトレジスタ、８０が基準画像射影データ（時
刻ｔ１）転送用シフトレジスタである。

【００９２】８１は時刻ｔ１の基準画像の一部をマスキ
ングして演算回路に入力しないように処理するマスキン
グコントローラ、８２は時刻ｔ２の探索画像の演算スタ
ート位置及び演算シフト幅を決めるスタートコントロー
ラである。

【００９３】マスキングコントローラ８１によるマスク
処理を簡単に説明するシフトレジスタの出力９８はイン
バータ９７を通してＮＡＮＤゲート９６に入力される。

【００９４】ＮＡＮＤゲート９６の片側の入力はマスキ
ングコントローラ８１の出力９９に接続されている。

【００９５】出力９９が“Ｈｉｇｈ（Ｈ）”の時、前記
基準画像射影データ転送用シフトレジスタ８０の出力９
８が“Ｈ”及び“Ｌｏｗ（Ｌ）”であっても前記ＮＡＮ
Ｄゲート９６の出力８７は“Ｌ”であり、転送スイッチ
１０１はＯＦＦとなり、ホールド回路７１に保持されて
いた時刻ｔ１のＶ方向射影データ

【００９６】

【外３】は相関演算には使用しない。

【００９７】また、前記マスキングコントローラ８１の
出力９９が“Ｌ”の時は、基準画像射影データ転送用シ
フトレジスタ８０の出力９８が“Ｈ”の時、信号線８７
には“Ｈ”が立ち、転送スイッチ１０をＯＮさせてデー
タを演算ブロックへ送り込む。

【００９８】この様にマスキングコントローラ８１によ
り相関演算に使用しないマスキング領域を任意に設定す
ることができる。もちろんマスキング領域はマスキング
コントローラ８１で左右のデータ列の所定列数で固定し
て使用する。

【００９９】また、画質のコントラスト、動き量等に対
して適応的にマスキング領域を変化させることもでき
る。

【０１００】探索画像射影データ転送用シフトレジスタ
７９は不図示の信号発生回路からの駆動クロック８３、
８４とスタートパルス８５で駆動される。

【０１０１】スタートコントローラ８２の出力１１３は
シフトレジスタのスタート位置及びシフトレジスタがＯ
Ｎする数を制御する。

【０１０２】時刻ｔ１の基準画像射影データと時刻ｔ２
の探索画像射影データの差分絶対値演算を行う際の動作
ブロックを詳細に示したものを図１０に示す。

【０１０３】設定条件として図９のマスキングコントロ
ーラ回路８１により画像データマトリクス５０の左右共
に２列をマスキングエリアとした場合を想定して説明す
る。

【０１０４】図１０において、時刻ｔ１においてホール
ドデータの７１，７０及び６７、６６をマスクし、演算
領域からはずす。

【０１０５】よって、時刻ｔ１における基準画像射影デ
ータ列はデータ６８〜６９の（ｍ−４）個の基準画像射
影データを基準に、時刻ｔ２における探索画像射影デー
タ列のデータ７７から７２の中から（ｍ−４）個のデー
タ列を転送読み出して基準画像データ列と相関演算を行
う。

【０１０６】図９のスタートコントローラ８２は、シフ
トレジスタ７９の動作する時の探索画像データ列のスタ
ート位置と転送幅のコントロールを行う。

【０１０７】図１０において、時刻ｔ１の基準画像射影
データ列の左右共に２列がマスキングされているため、
スタートパルスが入った時に最初にＯＮするスイッチは
スイッチ１０５であり、ホールド回路６９内のデータが
相関器１１３に転送され、時刻ｔ２における探索画像射
影データ列からはホールド回路７７のデータが相関器１
１３に転送され、それぞれ差分回路１１４で差分演算
し、絶対値回路１１５によりその絶対値が求められ累積
加算器１１６へ入力される。

【０１０８】シフトレジスタはスイッチ（１０５，１０
０），（２０１，１０２）…と次々にＯＮし、データを
相関器１１３へ送る。結果的に１回のシフトレジスタ制
御で以下の式の演算を行う。

【０１０９】

【外４】

【０１１０】以上、ｍ−４個の差分絶対値誤差の累積結
果は最小値検出回路１１７に入力される。

【０１１１】この時点で累積加算器１１６はリセットさ
れ、次のスタートパルスが入力される。

【０１１２】次の演算は探索画像射影データのスタート
点から１ブロックずらした点からスタートし、基準画像
射影データとの間で相関演算を行う。

【０１１３】シフトレジスタはスイッチ（１０５，１０
２），（２０１，１０４）…と次々にＯＮし、データを
転送する。

【０１１４】上記説明と同様に下記の（２）式の計算値
が累積加算器１１６の演算結果として残る。

【０１１５】

【外５】

【０１１６】この結果は前記最小値検出回路１１７に入
力され、前に記憶された（１）式の値と比較して小さい
方を残す。

【０１１７】動きベクトル検出カウンタ１１８で最小値
が更新された時の探索画像射影データのシフト数を記憶
しておく。

【０１１８】そして、累積加算器１１７をリセットし、
探索画像射影データのスタート点を１ブロックずらして
同様の相関演算を行う。

【０１１９】一般に射影データ列がｍ列、マスク領域が
左右共にｙ列とすると、自動的にサーチ量も±ｙとな
り、以下に示す数式の計２ｙ＋１の相関データが計算さ
れる。

【０１２０】

【外６】サーチ量が２ｙ＋１なのは空間的同位置すなわちシフト
させない演算を含むためである。

【０１２１】以上、相関誤差計算結果は２ｙ＋１個あ
り、これが最小値検出回路１１７により最小値が検出さ
れ、最小値が検出される度に信号線１１９により動き検
出カウンタ１１８に最小値検出時のシフトアドレスを記
憶しておき、２ｙ＋１の最小値比較が終わった段階で動
きベクトル検出カウンタ１１８の出力１２０に水平方向
の動きベクトルが出力される。

【０１２２】尚、今までの説明はＶ方向射影像による水
平方向動きベクトル検出のシーケンスを説明したが水平
（Ｈ）方向射影像による垂直方向の動きベクトルも同様
の手順で検出されることは言うまでもない。

【０１２３】〔第２の実施例のＬＳＩ回路〕次に、以上
に説明した本発明の動き検出のアルゴリズムを実行する
第１の実施例のＬＳＩ回路構成を図１１を用いて説明す
る。

【０１２４】尚、図１１中で図９と同一部分は同一符号
を付してその説明を省略する。

【０１２５】図１１の構成で図９と異なる部分は画像デ
ータマトリクス５０と垂直方向及び水平方向の累積加算
器５１，５２の構成部分である。

【０１２６】図９の画像データマトリクス５０は垂直及
び水平方向に画素値を順次転送し、累積加算器で時系列
に加算する方式であったが、図１１に示す画素データマ
トリクス２００は画素値のランダム読み出しが可能で２
０１、２０２、２０３〜２０４、２０５、２０６（Ｖ方
向射影出力用）、２０７、２０８、２０９〜２１０（Ｈ
方向射影出力用）は並列加算器にて同時に加算する。

【０１２７】このため、射影出力の生成がリアルタイム
で処理でき、システムの高速化を可能とする。

【０１２８】画素データマトリクス２００は非破壊読み
出し、ランダム読み出し可能なセンサやランダムアクセ
ス及び転送可能な半導体メモリ等がある。

【０１２９】次に、第２のＬＳＩ回路を実現するための
複数の光電変換要素が２次元状に配されており、行方向
の要素からの出力信号と列方向の要素からの出力信号を
並列に読み出し可能とする読みだし手段を有することを
特徴とするイメージセンサについて説明する。

【０１３０】図１２に非破壊読み出しのイメージセンサ
における行及び列方向の並列加算の例を示す。

【０１３１】図１２では２×２画素構成について記載し
たが、画素数はこれに限定されず実現できることは言う
までもない。

【０１３２】５０１、５０２、５０３、５０４はバイボ
ーラトランジスタで、ｎｐｎ型である。

【０１３３】上記バイボーラトランジスタのベース領域
は受光層のフォトダイオードとして使用し、光照射によ
り発生した電子・正孔対の正孔が上記ベース領域に蓄積
される。

【０１３４】５０５、５０６、５０７、５０８はベース
領域上に設けられた容量で上記バイボーラトランジスタ
のＯＮ、ＯＦＦ状態を制御する。

【０１３５】５０９、５１０、５１１、５１２は横方向
の光電変換セルを分離かつフォトダイオード電位をリセ
ットするのに使用するＰ型ＭＯＳスイッチである。

【０１３６】５１３、５１４、５１５、５１６はエミッ
タ電位をリセットするためのＮ型ＭＯＳスイッチで、上
記５１３、５１４のＭＯＳスイッチのソースは、エミッ
タリセット電源ライン５５０と、５１５、５１６のＭＯ
Ｓスイッチのソースは、同様にエミッタリセット電源ラ
イン５５１と接続してある。

【０１３７】５１７、５１８、５１９、５２０、５２
１、５２２、５２３、５２４はそれぞれのエミッタから
フローティングバスライン５２５、５２６、５２７、５
２８に接続される容量である。

【０１３８】前に説明したバイボーラのベース領域に設
けられた容量及びＰＭＯＳゲートは、駆動ライン５２９
に接続され、パルスφ_BRが印加できる。本実施例では、
全画素共通に接続されている。

【０１３９】また、各バイボーラのベースリセット電源
Ｖ_BRは、Ｐ型拡散層５３０を介して全画素のベースに印
加可能になっている。

【０１４０】次に読み出し回路部の説明を行う。図１２
には、水平方向の読み出し回路のみ記載した。水平、垂
直同時にかつ各行、各列、並列に出力されるため、水平
方向の回路と垂直方向の回路形式は同様のものになるた
め、垂直方向の回路を記すことを省略した。

【０１４１】５３１、５３２は水平フローティングバス
ライン５２５、５２６それぞれの電位コントロール用容
量であり、一方はコントロール用のパルスφ_HFが印加で
きるようになっている。

【０１４２】５３３、５３４は水平フローティングバス
ライン５２５、５２６の電位リセット用ＭＯＳスイッチ
で、上記ＭＯＳスイッチのゲートは、φ_HFR パルスが印
加される。

【０１４３】５３５、５３６は水平フローティングベー
スラインの電位クランプ用直列容量、５３７、５３８は
リセット用スイッチでパルスφ_HCR により制御される。

【０１４４】５３９、５４０はｎｐｎ型バイボーラトラ
ンジスタで直列容量５３５、５３６からの出力ラインに
それぞれのベースが接続され、かつ５３９、５４０のエ
ミッタは共通接続され、各水平ライン上の画素のピーク
信号はＶ_HPEAKOUT端子へ出力される。

【０１４５】５４１、５４２はサンプルホールド容量５
４３、５４５への転送スイッチでパルスφ_HCT で駆動で
きる。

【０１４６】５４６、５４７はＭＯＳ反転アンプで、そ
の出力５４８、５４９が出力される。

【０１４７】次に、図１２に示した回路の駆動方法につ
いて説明する。

【０１４８】まず、パルスφ_REをハイレベルにし、画素
セルのエミッタ部に設けられたＮ型ＭＯＳスイッチ５１
３、５１４、５１５、５１６をＯＮ状態にする。これに
よりエミッタ電位は、電源Ｖ_REに固定される。

【０１４９】また、同時に水平フローティングバスライ
ン５２５、５２６の電位もパルスφ_HFR をハイレベルに
し、読み出し回路の電位もφ_HCR 、φ_HCT パルスをハイ
レベルにして接地電位にリセットしておく。

【０１５０】次に、画素部のバイボーラのベース電位を
リセットするため、バイボーラのベースにＶ_BRという１
〜２Ｖ程度の電位を印加するが、エミッタが接地された
状態のままだと、全画素分のバイボーラがＯＮして大電
流が流れてしまうので、一旦φ_HFR のパルスをローレベ
ルにして、エミッタが接続されている水平フローティン
グバスライン５２５、５２６をフローティング状態にす
る。

【０１５１】その後、φ_BRパルスを中間レベルからロー
レベルにし、画素部のＰ型ＭＯＳスイッチ５０９、５１
０、５１１、５１２をＯＮ状態とし、ベース電位をＶ_BR
電位に固定する。

【０１５２】このリセット方法（完全リセット）は図１
２では、片側よりＰ型拡散層５３０を介して行っている
が、このリセット時間を短縮化するためには、画素の両
側より実行すれば良い。

【０１５３】このリセット終了後、φ_BRパルスを一旦中
間レベルに戻し、再びφ_HFR パルスをハイレベルにし、
水平フローティングバスラインを接地電位にリセットす
る。

【０１５４】このエミッタ電位により決定されるベース
電位にベース領域を収束させるため、再びφ_BRパルスを
ハイレベルにする。

【０１５５】これにより、各画素部に設けられた容量５
０５、５０６、５０７、５０８によりベース電位は持ち
上りベースエミッタバイアスが全画素のバイボーラを順
方向動作するようになる。

【０１５６】このためには、上記完全リセット時のベー
ス固定電位Ｖ_BRを所望の値にすれば容易に達成できる。

【０１５７】このリセット方法は、過渡リセットと呼ば
れるようにリセット開始は、バイボーラの順方向バイア
スにより電流は流れるものの、エミッタから逆注入され
た電子がベース中の正孔と再結合し、ベース電位は急速
に低下する。

【０１５８】これにともない、リセット電流は指数関数
的に減少する。上記リセットにより、リセット電位ムラ
等は低減され、均一なベース電位となるため、読み出し
時のリセットノイズが低くなる。

【０１５９】次に、画素部のエミッタをフローティング
状態にするために、φ_REパルスをローレベルにし、また
φ_BRパルスは中間レベル、φ_HFR パルスもローレベルに
し、水平フローティングバスライン５２５、５２６をフ
ローティング状態にする。

【０１６０】次に、光信号を蓄積する前に、暗時の出力
レベルでクランプするために暗時出力の読み出しを行
う。

【０１６１】このために、それまでの期間ハイレベルに
しておいたパルスφ_HFをローレベルにする。これにより
容量５３１、５３２を介して水平フローティングバスラ
イン５２５、５２６は下方に振られる。

【０１６２】更に、容量５１７、５１９、５２１、５２
３を介してバイボーラトランジスタのエミッタ５５２、
５５３、５５４、５５５が下方に振られる。この動作に
より再びバイボーラトランジスタはＯＮ状態となり、暗
時のベース電位に対応した電圧がエミッタ側に読み出さ
れる。

【０１６３】この時の電圧関係を明確にするために、水
平フローティングバスライン５２５の全容量をＣ_HFL1、
５１７に示す容量をＣ₁₅、Ｃ₂₅に示す容量をＣ₁₆、暗時
のバイボーラトランジスタＯＮによるエミッタ電位上昇
分を、バイボーラトランジスタ５０１に対してはＶ_dark
¹¹、５０２に対してＶ_dark ²¹又５１の容量をＣ₅₁とす
る。その時、上記暗時の出力によるフローティングバス
ラインの電圧は、

【０１６４】

【外７】となる。水平フローティングバスライン５２６に関して
も同様に、暗時の出力時の電圧は、

【０１６５】

【外８】と表される。

【０１６６】ここで、Ｃ₃₅、Ｃ₄₅は５２１、５２３に示
す容量、Ｃ_HFL2は５２６の水平フローティングバスライ
ンの容量、Ｖ_dark ³¹、Ｖ_dark ⁴¹は各５０３、５０４のバ
イボーラの暗時のエミッタ側の出力値、Ｃ₅₂は５３２の
容量である。本発明の実施例の場合、Ｃ₁₅、Ｃ₂₅、
Ｃ₃₅、Ｃ₄₅をすべて等しく、Ｃ_HFL1とＣ_HFL2とを、又Ｃ
₅₁とＣ₅₂とを等しくしておく。Ｃ_HE≡Ｃ₁₅＝Ｃ₂₅＝Ｃ₃₅＝Ｃ₄₅ Ｃ_HC≡Ｃ₅₁＝Ｃ₅₂とするとＣ_HFL ≡Ｃ_HFL1＝Ｃ_HFL2 （４）式、（５）式はそれぞれ、下記のように簡素化さ
れる。

【０１６７】

【外９】この暗時レベルの出力読み出し時は、直列容量５３５、
５３６の右側の出力ラインは、ＭＯＳスイッチ５３７、
５３８により、接地電位に固定されているが、上記読み
出しが十分収束して電圧変化がなくなった後、パルスφ
_HCR をローレベルとし、直列容量の右側のラインをそれ
ぞれフローティングとする。その後、φ_HFR パルスをハ
イレベルにし、水平フローティングバスライン５２５及
び５２６を接地電位にリセットする。

【０１６８】この時の電圧変化は、下方へ（４）’
（５）’に示す値に変化するため、直列容量５３５、５
３６の右側は下記に示す電圧になる。

【０１６９】

【外１０】ただし、Ｋは定数である。Ｋは直列容量とサンプルホー
ルド容量等から決まる。

【０１７０】次に、パルスφ_HCT パルスをローレベルに
して、サンプルホールド容量Ｃ₁₁₁、Ｃ₁₁₂ に（６）
式、（７）式の電圧を保持する。

【０１７１】φ_HCT パルスをローレベルにした後、パル
スφ_HFパルスをハイレベルにしておく。

【０１７２】次に、光信号を蓄積する前に、バイボーラ
トランジスタのエミッタ、ベース、それから直列容量５
３５、５３６の右側の出力ラインの電位を暗時の出力読
みだしと同様の動作によりリセットする。

【０１７３】上記リセットが終了後、光蓄積動作を開始
する。パルスφ_BRは、ハイレベルより中間レベルにする
ため、バイボーラのベース電位は負側に振られる。これ
により蓄積期間中は、バイボーラは完全にＯＦＦ状態に
なっているため、フローティングになっているエミッタ
も、水平フローティングバスラインも電圧変化は生じな
い。従って、この蓄積期間中はφ_REをハイレベルにし
て、又φ_HFR パルスをハイレベルにして、接地電圧に固
定しておいてもおかなくても良い。

【０１７４】光信号蓄積期間終了後、水平フローティン
グバスライン及び直列容量の右側の出力ラインをフロー
ティング状態にするためのφ_HFR パルス及びφ_HCR パル
スをそれぞれローレベルとする。

【０１７５】その後、パルスφ_HFを下側に振り込む。こ
れにより、水平フローティングライン、エミッタ端と電
圧が下側に振られ、ベースエミッタバイアスが順方向に
バイボーラトランジスタに印加され、各エミッタ端に読
み出される。エミッタ端での電圧は、それぞれのバイボ
ーラのベース領域に形成されたフォトダイオードに照射
された光信号分Ｖ_p ¹¹ 、Ｖ_p ²¹ 、Ｖ_p ³¹ 、Ｖ_p ⁴¹ と暗時
の出力のバイアス分Ｖ_dark ¹¹、Ｖ_dark ²¹、Ｖ_dark ³¹、Ｖ
_dark ⁴¹となるため、各水平フローティングラインの電位
は（８）、（９）式のようになる。

【０１７６】

【外１１】

【０１７７】次に、パルスφ_HFR をハイレベルにする
と、（８）式、（９）式の電圧変化分が、サンプリング
トランジスタに読み出されるので、（６）式、（７）式
の電圧とたしあわされて、その電圧は（１０）式、（１
１）式のようになる。

【０１７８】

【外１２】結局

【０１７９】

【外１３】に示すように、水平の加算出力が並列に読み出される。

【０１８０】上記動作において、垂直方向も同様の動作
となるため、垂直方向に並列に加算出力が読出される。

【０１８１】次に、図９に示した動きベクトル相関器１
１３のベクトル検出演算手法は差分絶対値の最小値検出
によるものであった。他の手法として、フローティング
ゲートのＭＯＳトランジスタを利用した相関器を図１３
に示す。

【０１８２】図１３に示す相関器は相関誤差が少ない時
（相関が強い時）に相関値出力が最大になるものであ
る。

【０１８３】図１３に示す相関器３００はδの電圧によ
って入力の絶対値｜Ｚ_t1−Ｚ_t2｜＜δ の時“１”を出す。｜Ｘ_t1−Ｘ_t2｜≧δ の時“０”を出す。

【０１８４】以下、図１３に示した回路動作の説明をす
る。

【０１８５】まず、φ_R のパルスによりセルの入力ライ
ンを一度リセットしてフローティング状態にする。相関
器３００の入力にＺ¹ _t1 ，Ｚ¹ _t2が入る。

【０１８６】フローティングゲート３０１を介して形成
された多入力ゲートのうち、出力ライン３０２の信号は
３０３、３０４のゲートへ、出力ライン３０５の信号は
アナログ反転アンプ３０６を介して３０７のゲート及び
３０８のゲートへ入力される。

【０１８７】一方、ゲート３０９とゲート３１０は接地
され、ゲート３１１は反転アンプ３１２を介して、判定
条件をきめるδの電源３１３に接続されている。

【０１８８】ゲート３１４は、直接δの電源３１３に接
続されている。３１５はｐ型ＭＯＳトランジスタで、３
１６はｎ型ＭＯＳトランジスタである。尚、図１４は図
１３の回路３００のゲート３０３、３０７、３０９、３
１１（図１４の７０、７１、７２、７３）及びフローテ
ィングゲート３０１（図１４の７４）を有する半導体素
子の構成を示す概略図である。尚、図１４の７５は図１
３の３１５に、７６は図１３の３１６に対応している。

【０１８９】このような構成によりインバータ３１７を
介した出力は、出力ライン３０５と３０２との絶対値が
電圧δ以下の時Ｖ_DDの値に、それ以外の時、接地電位が
出力される。従って、３００に示す回路により電圧δに
より判定条件が変更できる。

【０１９０】アナログ信号は回路３００にそれぞれ入力
され、その出力は容量３２０、３２１、３２２を介して
フローティングバス出力ライン３２３に接続される。

【０１９１】この３２３の出力ラインは回路３００が動
作する前、３２４に示すリセットＭＯＳにより接地され
る。そして３２４のトランジスタをＯＦＦとし、フロー
ティングにした後、回路３００を動作させる。これによ
りそれぞれの出力は容量３２０、３２１、３２２を介し
て自動的に加算される。

【０１９２】今、相関器３００の入力を図９で説明した
Ｖ方向射影データとすると

【０１９３】

【外１４】を入力すると、以下の演算を同時並列に行い、かつ加算
もリアルタイムである。

【０１９４】

【外１５】この結果が容量３２０、３２１、３２２を介して自動的
に同時に加算し、相関データを形成する。

【０１９５】また、相関器３００を画素Ｖ方向の個数ｎ
あれば、１列分の射影誤差相関演算及び相関値の累積を
並列同時処理できるため、大幅に演算時間が短くでき
る。

【０１９６】次に、図１３、図１４に示したフローティ
ングゲートＭＯＳを用いた回路による最大値検出回路を
図１５に示す。

【０１９７】図１５における、４０１、４０２、４０３
は図１０で説明した各シフト値毎の相関演算結果（つま
り、時刻ｔ₁ と時刻ｔ₂ のＶ方向射影データの差分絶対
値の判定結果の加算値）が入力される。

【０１９８】例えば、入力４０１には基準画像射影デー
タ列に対して探索画像射影データ列を＋１画素シフトし
た時の射影法による演算結果、同様に４０２には±０画
素、４０３には＋１画素のトータル相関値が入力され
る。

【０１９９】これらの端子は入力ゲート４２０、４２
１、４２２に接続され、もう一方の入力ゲート４２３、
４２４、４２５は、ＭＯＳスイッチ４０８を介してラン
プ電圧電源４１１に接続されている。

【０２００】前記入力ゲートはそれぞれフローティング
ゲート４０４、４０５、４０６を介してｐ型ＭＯＳトラ
ンジスタ４２６、ｎ型ＭＯＳトランジスタ４２７から構
成されるＣＭＯＳインバータのゲートとなっている。

【０２０１】その出力は通常のインバータ４１２を介し
て出力端子４２８、４２９、４３０に接続されていると
共にＮＯＲ４０７にすべての出力が接続されている。Ｎ
ＯＲ４０７の出力４３１は、ＭＯＳスイッチ４０８のゲ
ートに接続されている。

【０２０２】また、出力端子４２８、４２９、４３０及
びインバータ４０９の出力はリセットＭＯＳスイッチ４
３２を介してそれぞれ設置電位及びＶ_DDに接続されてい
る。

【０２０３】次に、最大値検出回路の動作について次に
説明する。

【０２０４】動作前パルスφ_R をｈｉｇｈ状態にし、各
出力ラインの接地電位、一方ＭＯＳスイッチ１１６がＯ
Ｎすることにより、４０４、４０５、４０６のフローテ
ィングゲート電位を接地電位にリセットし、φ_R をｌｏ
ｗレベルにして出力端子及びフローティングゲートをフ
ローティング状態にする。出力端子はＧＮＤゆえＮＯＲ
４０７の出力はｈｉｇｈ状態となっており、ＭＯＳスイ
ッチ４０８のゲートはＯＮ状態になっている。

【０２０５】一方、インバータの出力４０９は、ｌｏｗ
状態であるから、ＭＯＳスイッチ４１０はＯＦＦ状態と
なっている。

【０２０６】次に、４１１に示すランプ電源Ｖ_R をｌｏ
ｗからｈｉｇｈレベルに上昇させる。

【０２０７】４０１、４０２、４０３の端子にはリセッ
トされた状態から相関演算結果が入力される。

【０２０８】すると、それぞれの値のうち、最も高い電
圧を示しているインバータから状態がｈｉｇｈからｌｏ
ｗへつまりインバータ４１２の出力は、ｈｉｇｈ状態
（Ｖ_DD）に変化する。

【０２０９】すると４０７のＮＯＲ出力はｌｏｗへ、４
０９のインバータ出力はｈｉｇｈとなりＭＯＳスイッチ
４１０のゲートはＯＮ状態となる。

【０２１０】すると、最大値が入力されたインバータの
み、その出力がフローティングゲートをｈｉｇｈに、一
方、それ以外のインバータは逆にフローティングゲート
をｌｏｗに固定する。

【０２１１】一方、ランプ電圧が入力されたゲートはＮ
ＯＲ出力がｌｏｗとなることから４０８のＭＯＳスイッ
チがＯＦＦ状態となりランプ電圧が印加されなくなる。

【０２１２】以上の動作原理により最大値から入力され
た端のみｈｉｇｈレベル、それ以外はｌｏｗレベルを出
力できる。

【０２１３】本構成では４０８のＭＯＳスイッチを設け
たが必ずしも必要ではない。

【０２１４】また、それぞれの動作においてパルスのｄ
ｅｌａｙを考慮し、ｄｅｌａｙ回路等を挿入することは
言うまでもない。

【０２１５】また、最大値が入力されてｈｉｇｈレベル
が出力されるパルスを利用し、そのユニットを切り離
し、次の最大値を検出できる回路に拡張できることは言
うまでもない。

【０２１６】〔第５の実施例〕次に、動き検出の為の相
関演算処理の第５の実施例を説明する。

【０２１７】本発明の第１の実施例で述べたマスキング
領域を設定しての動き検出では基本的にサーチ領域以外
の検索はしなかった。

【０２１８】図４で説明したマスキング方式は基準画像
１０と探索画像１１の全データ枠は同じで基準画像１０
とマスキング領域以外のデータ枠１２と同一の画増枠で
探索画像の右端から左端（または左端から右端）をサー
チし動きベクトルを検出するものであった。

【０２１９】第５の実施例の演算方式は、探索画像側に
探索画像枠以外にダミー画像枠を設け、探索画像枠以上
のサーチを可能にし、高精度化、高Ｓ／Ｎ化を図るもの
である。

【０２２０】図１６（ａ）に示している６００はサーチ
の基準画像、図１６（ｂ）に示している６０４は探索画
像である。

【０２２１】基準画像６００の左右には本発明の第１の
実施例の演算方式のマスキング領域６０１，６０３が設
定され、基準画像内からサーチに使用される演算画像領
域６０２が抽出される。

【０２２２】また、探索画像領域６０４の左右端には新
しく設定したサーチ領域６０５、６０６を設ける。

【０２２３】探索側追加画像エリア６０５及び６０６に
は単一階調データ（例えば全黒、または全白データ等）
或は探索画像データ６０４の画調に応じた画像データを
付加する。

【０２２４】前記探索側追加画像エリア６０５、６０６
を設けたことによって、全探索サーチエリアは６０１と
６０５（及び６０３と６０６）の和となり、サーチ領域
は拡大される。

【０２２５】また、マスキング領域６０１（または６０
３）と画像の動き量が同等の時、前記探索側追加画像エ
リア６０５、６０６を設けサーチすることでマスキング
エリア６０１及び６０２と同等またはそれ以上に画像の
動きを検出することができる図１７に画像シュミレーシ
ョンによる動き検出誤差関数を示す。

【０２２６】図１７（ａ）は第１の実施例のマスキング
方式のみ、図１７（ｂ）はマスキング方式＋探索追加画
像方式の結果である。尚、シュミレーション条件として
水平方向に＋３２画素（右側に）に移動した人物の画像
を用いている。

【０２２７】図１７（ａ）の条件は２００×２００画素
の基準画像に３０画素分のマスキングエリアを設け、抜
き出した基準画像データ長と同一のデータ長を抜き出し
た探索画像と相関演算を行っている。マスクキング領域
が３０画素である為、サーチ量は±３０画素となり、最
小値検出をすると＋３０画素を動きベクトルと判断して
いる。

【０２２８】図１７（ｂ）の条件は２００×２００画素
の基準画像に図１７（ａ）と同様に３０画素分のマスキ
ング領域を設け、かつ探索画像側に４０画素分の探索側
追加画像領域を設けデータとして全黒データ（データ値
＝０）を付加し、サーチ量を３０画素（基準画素マスキ
ング領域）＋４０画素（探索側追加画像領域）の計±７
０画素とした。これにより、マスキング領域以上のサー
チを可能にした。図１７（ａ）の最小値を示すベクトル
は＋３２画素になっており、マスキング領域外の検出を
可能としている。

【０２２９】また、図１７（ａ）で示す右下がりの相関
関数が図１７（ｂ）の様に＋３２画素の動きベクトルと
判断している。このように探索側画像に追加ダミー画像
を入れることで、第１の実施例のマスキング法による動
き検出を更に高精度化することができる。

【０２３０】回路構成としては図９或は図１１の回路構
成に付加するための画像データ（ダミーデータ）を発生
する発生回路を加えて、相関演算処理に前記発生回路か
らのダミーデータを加えて処理するように制御すればよ
い。

【０２３１】尚、前述の実施例はあらゆる点で単なる例
示に過ぎず、限定的に解釈してはならない。

【０２３２】

【発明の効果】以上説明したように、本発明によれば、
第１のデータ集合から選択された第１の選択領域と、第
２のデータ集合から選択された第２の選択領域との相関
演算を行う場合、前記第１の選択領域の一部をマスキン
グし、前記マスキングした以外の前記第１の選択領域を
基準に、前記第２の選択領域との間で同一データ長で相
関演算するので、高速にかつ高精度に相関検出を行うこ
とができる。

【０２３３】また、相関演算において、マスキングされ
た領域以外のデータを用いて水平及び垂直方向それぞれ
の累積和から相関を検出しているので、相関検出の回路
のクロックを高くせずに、高速に、高精度に相関検出で
きる。

【０２３４】また、従来なら膨大な演算量を有した広範
囲の高速移動体の動き検出も本発明の装置により、簡単
なハード構成でリアルタイムに処理が可能となる。

【０２３５】また、本発明によれば、第１のデータ集合
から選択された第１の選択領域と、第２のデータ集合か
ら選択された第２の選択領域との相関演算を行う場合、
前記第１の選択領域の一部をマスキングし、前記第２の
選択領域にダミーデータを付加し、前記マスキングした
以外の前記第１の選択領域を基準に、前記ダミーデータ
が付加された前記第２の選択領域との間で同一データ長
で相関演算するので、高速にかつ高精度に相関検出を行
うことができる。

【０２３６】また、独立に相関データのハンドリングも
可能となりデータ処理の前工程でデータ圧縮が図れる。

【０２３７】また、本発明の装置を用いることにより動
き情報以外に画像の距離情報を介してパターン認識また
は、文字認識、身元認識等相関演算を利用したアプリケ
ーションの高速処理、低コスト化を実現可能にする。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施例の動きベクトル検
出の原理を説明する図である。

【図２】第１の実施例で使用した時刻の異なる画像を示
す図である。

【図３】人物の水平方向の移動を示す時刻の異なる画像
を示す図である。

【図４】本発明にかかる第２の実施例の動きベクトル検
出方法による図２の画像処理の説明図である。

【図５】人物の垂直方向の移動を示す時刻の異なる画像
を示す図である。

【図６】本発明にかかる第３の実施例の動きベクトル検
出方法による図５の画像処理の説明図である。

【図７】本発明にかかる第４の実施例の動きベクトル検
出方法を説明する図である。

【図８】本発明の第４の実施例の動きベクトル検出方法
を実際に画像シュミレーションした結果を示す図であ
る。

【図９】本発明にかかる動きベクトル検出方法を実現す
るための第１の実施例であるＬＳＩ回路の構成を示すブ
ロック図である。

【図１０】図９の相関演算処理の詳細を説明する図であ
る。

【図１１】本発明にかかる動きベクトル検出方法を実現
するための第２の実施例であるＬＳＩ回路の構成を示す
ブロック図である。

【図１２】第２の実施例のＬＳＩ回路の構成にかかるセ
ンサ部の構成を示すブロック図である。

【図１３】本発明の実施例にかかるフローティングゲー
トのＭＯＳトランジスタを利用した相関器のブロック図
である。

【図１４】図１３の相関器３００のゲート３０３、３０
７、３０９、３１１及びフローティングゲート３０１を
有する半導体素子の構成を示す概略図である。

【図１５】図１３、図１４に示したフローティングゲー
トＭＯＳを用いた回路による最大値検出回路のブロック
図である。

【図１６】本発明にかかる第５の実施例の動きベクトル
検出方法を説明する図である。

【図１７】本発明にかかる第１の実施例による相関誤差
関数と第５の実施例による相関誤差関数を示す図であ
る。

【図１８】従来のブロックマッチング法による動きベク
トル検出の概略説明図である。

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 9061−5ＨＧ０６Ｆ 15/70 ４６０Ａ

Claims

【特許請求の範囲】

【請求項１】第１のデータ集合から選択された第１の
選択領域と、第２のデータ集合から選択された第２の選
択領域との相関演算を行う場合、前記第１の選択領域の一部をマスキングし、前記マスキングした以外の前記第１の選択領域を基準
に、前記第２の選択領域との間で同一データ長で相関演
算することを特徴とするデータ処理方法。
【請求項２】請求項１記載のデータ処理方法におい
て、前記第１及び第２のデータ集合が２次元データ列で
あり、それぞれのデータ値を水平方向及び垂直方向に累
積加算した射影値により相関演算することを特徴とする
データ処理方法。
【請求項３】請求項１記載のデータ処理方法におい
て、画像の動きを検出することを特徴とするデータ処理
方法。
【請求項４】請求項１記載のデータ処理方法におい
て、前記第１のデータ集合と、前記第２のデータ集合と
が、異なる時刻の画像データであることを特徴とするデ
ータ処理方法。
【請求項５】画像データを入力する入力手段と、前記入力された画像データの一部をマスキングするマス
キング手段と、前記入力された画像データの水平及び垂直方向の累積和
を演算する演算手段と、前記マスキング手段によりマスキングされた画像データ
以外の前記累積和により画面間の動きを検出する検出手
段とを有することを特徴とするデータ処理装置。
【請求項６】請求項５記載のデータ処理装置におい
て、絶縁ゲート型電界効果トランジスタのゲート構造
が、フローティングゲートを介して複数のゲートを有し
ていることを特徴とするデータ処理装置。
【請求項７】請求項５記載のデータ処理装置におい
て、前記演算手段は累積和をアナログ信号で、かつ並列
処理で射影値を出力することを特徴とするデータ処理装
置。
【請求項８】請求項７記載のデータ処理装置におい
て、前記アナログ信号は非破壊型イメージセンサの出力
された信号であることを特徴とするデータ処理装置。
【請求項９】第１のデータ集合から選択された第１の
選択領域と、第２のデータ集合から選択された第２の選
択領域との相関演算を行う場合、前記第１の選択領域の一部をマスキングし、前記第２の選択領域にダミーデータを付加し、前記マスキングした以外の前記第１の選択領域を基準
に、前記ダミーデータが付加された前記第２の選択領域
との間で同一データ長で相関演算することを特徴とする
データ処理方法。
【請求項１０】請求項９記載のデータ処理方法におい
て、前記ダミーデータが任意の単一階調データであるこ
とを特徴とするデータ処理方法。
【請求項１１】請求項９記載のデータ処理方法におい
て、前記ダミーデータが前記探索画像より得られたデー
タであることを特徴とするデータ処理方法。