JP4446820B2 - 画像処理装置 - Google Patents

Description

本発明は、画像データの入力動作に対してリアルタイムに動きベクトルを算出することが可能な画像処理装置に関する。

動画像データを圧縮する際に、連続するフレーム間における要素の動きを検出し、これを利用して効率よく圧縮する技術である動き補償（Motion Compensation）が、ＭＰＥＧ（Motion Picture Experts Group）等の多くの圧縮方式で利用されている。そして、動き補償においては、現フレーム画像中の注目要素が、参照フレーム画像においてどの方向へどの程度動いているかを示すベクトルデータである動きベクトルを求め、これを動画像データの圧縮に利用している。

このような動きベクトルを効率よく求める技術として、例えば特許文献１がある。

特開２００１−２７５１０３号公報

しかし、上記特許文献１を含む従来技術では、比較する現フレームと参照フレームの両方の画像データを、バッファに格納した状態で比較して動きベクトルの演算を実行するため、大容量のバッファを必要とする。また、現フレームと前フレームの両方の注目要素に係るデータを、当該バッファから読み出して比較する処理を行うため、バス帯域やＣＰＵ等の処理部に係る負荷が高いという問題があった、また、従来の動き補償は、現フレームの画像データを一旦バッファに格納した後に実行するため、入力される動画像データをリアルタイムに処理することができない。しかし、連続して入力される動画像データを高速に処理する必要があるため、動き補償を行う画像処理装置を高クロックで動作させ、その結果、消費電力や発熱量が大きくなるという問題があった。

そこで、この発明の課題は、入力される画像データに対してリアルタイムに動きベクトルの算出処理が可能な画像処理装置を提供することにある。

上記課題を解決すべく、請求項１の発明は、入力される動画像から動きベクトルを算出する画像処理装置であって、入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、前記現フレームより１フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データとを比較して、動きベクトルを算出する動き検出処理手段とを備え、前記動き検出処理手段は、前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、前記レジスタに格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データとを比較して差分値を求める減算手段と、前記減算手段により求めた前記差分値の絶対値の和を累積しながら格納する総和演算手段と、前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で前記減算手段により求めて前記総和演算手段に累積した差分値の絶対値の総和から、動きベクトルを算出する手段とを備え、前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に１画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ１画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に１画素分ずつ移動する動きを含む。

また、請求項２の発明は、入力される動画像から動きベクトルを算出する画像処理装置であって、入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、前記現フレームより１フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データとを比較して、動きベクトルを算出する動き検出処理手段とを備え、前記動き検出処理手段は、前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、前記レジスタに格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データとを比較して差分値を求める減算手段と、前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で、前記減算手段により求めた差分値の絶対値の和を累積しながら前記記憶手段に格納する手段と、前記記憶手段に格納された前記差分値の絶対値の総和から、動きベクトルを算出する手段とを備え、前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に１画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ１画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に１画素分ずつ移動する動きを含む。

また、請求項３の発明は、入力される動画像から動きベクトルを算出する画像処理装置であって、入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、前記現フレームより１フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データとを比較して、動きベクトルを算出する動き検出処理手段とを備え、前記動き検出処理手段は、前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、前記レジスタ手段に格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データとを比較して差分値を求める減算手段と、前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で、前記減算手段により求めた差分値の絶対値から動きベクトルを算出する手段と、前記動きベクトルを前記記憶手段に格納する手段とを備え、前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に１画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ１画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に１画素分ずつ移動する動きを含む。

また、請求項４の発明は、請求項１ないし請求項３のいずれかの発明に係る画像処理装置であって、前記現フレームの画像データに代えて前記前フレームの画像データを処理対象とし、前記前フレームの画像データに代えて前記現フレームの画像データを処理対象として、動作することを特徴とする。

また、請求項５の発明は、請求項１ないし請求項４のいずれかの発明に係る画像処理装置であって、前記信号処理手段は、前記画像データを縮小変換する縮小処理手段、を含み、前記動き検出処理手段は、前記縮小処理手段により縮小変換された現フレームの画像データと前フレームの画像データとを、比較の処理対象として動きベクトルを算出することを特徴とする。

また、請求項６の発明は、請求項３ないし請求項５のいずれかの発明に係る画像処理装置であって、前記動き検出処理手段は、さらに、算出した前記動きベクトルを、複数のブロック領域毎に平均化する平均処理手段、を含むことを特徴とする。

また、請求項７の発明は、請求項３ないし請求項６のいずれかの発明に係る画像処理装置であって、前記動き検出処理手段は、さらに、算出した前記動きベクトルの差分が所定の値以下であるブロック領域を、一のグループとして統合する統合処理手段、を含むことを特徴とする。

また、請求項８の発明は、請求項７の発明に係る画像処理装置であって、前記統合処理手段は、前記動きベクトルが所定のパターンで分布するブロック領域を探索する手段、を含むことを特徴とする。

請求項１ないし請求項４に記載の発明によれば、現フレームの画像データを、メモリ等の記憶手段に格納することなくレジスタを利用して、動き検出処理手段に対する入力動作に対してリアルタイムに処理を進めて、動きベクトルを算出することができる。

請求項５に記載の発明によれば、現フレームと前フレームで比較する画素データ領域の範囲を相対的に拡大することができるため、レジスタ等のハードウェアを変更することなく検出可能な動きベクトルの範囲を拡大することができる。

請求項６ないし請求項８に記載の発明によれば、動きベクトルの差分が所定の値以下である領域を、平均化やグループ化によってまとめることで、動きベクトルの総数が減少し、動きベクトルに係る演算処理量を低減することができる。

（第１の実施の形態）
＜画像処理装置の構成＞
図１は、この発明の第１の実施の形態に係る画像処理装置１を含む、デジタルカメラ等の撮像装置の構成を示す概略図である。画像処理装置１は、撮像部２から入力される画像信号を、動き補償を利用しながらＭＰＥＧ等の所定の形式の動画像に圧縮変換する機能を有し、動き補償に係る動きベクトルの算出を、撮像部２からの画像信号の入力に対してリアルタイムに行うことを特徴としている。

ここで、撮像部２とは、所望の対象物を被写体としてとらえるためのレンズなどからなる光学系、ＣＣＤやＣＭＯＳ等の撮像素子からなるセンサ、センサが出力するアナログ信号にノイズ除去、信号増幅、Ａ／Ｄ変換などの信号処理を施す信号処理回路等を備え、光としてとらえた被写体に係る情報を電気信号に変換し、画像信号として出力する機能を有する機能部である。

また、メモリ７は、画像処理装置１内における各種の処理時に、データの一時記憶等に利用するＳＤＲＡＭ等の記憶装置である。

画像処理装置１は、図１に示したように、撮像部２から入力される画像信号を信号処理するセンサプロセッシングユニット３（以降、図中と同様ＳＰＵ（Sensor Processing Unit）と記す）およびリアルタイムプロセッシングユニット４（以降、図中と同様ＲＰＵ（Real-time Processing Unit）と記す）と、ＲＰＵ４から入力される画像データを利用して動き補償に係る処理を行う動き検出処理部５と、メモリ７との間でデータ転送処理を行うメモリインターフェース６（以降、図中と同様メモリＩ／Ｆ(Interface)と記す）と、ＲＰＵ４，動き検出処理部５およびメモリＩ／Ｆ６等の間で利用するデータ伝送路であるバス８と、から構成される。

ＳＰＵ３は、撮像部２から入力される画像信号にホワイトバランス調整などの信号処理を施して出力し、ＲＰＵ４は、ＳＰＵ３から入力される画像信号に補間処理、色空間の変換、偽色抑制などの信号処理を施して出力する機能を有する。ＲＰＵ４の出力する画像データは、動き検出処理部５に入力される。ＳＰＵ３およびＲＰＵ４が、信号処理手段を構成する。

動き検出処理部（動き検出処理手段）５は、撮像部２から入力されＳＰＵ３およびＲＰＵ４で処理された直後のフレーム（以降、現フレームと記す）の画像データと、メモリ７内に格納された現フレームの画像データより１フレーム前（以降、前フレームデータと記す）の画像データとを比較することにより、動き補償を利用した圧縮変換処理を行うのに必要な動きベクトルを算出する機能を有する。この動きベクトルの算出処理の詳細については後述する。

尚、画像処理装置１は、その内部にＣＰＵ（図示せず）を備え、当該ＣＰＵが上述した各部の動作を制御し、バス８にはＤＭＡ制御部（図示せず）が接続され、当該バス８を利用したデータ転送は、ＣＰＵによらず当該ＤＭＡ制御部によるＤＭＡ転送により行われる態様であっても構わない。また、画像処理装置１は、ＲＰＵ４の出力する画像データを、動き検出処理部５で算出する動きベクトルを利用してＭＰＥＧ等の所定の形式に圧縮変換する圧縮処理部（図示せず）を備える態様であってもよいし、当該圧縮処理に係る機能を動き検出処理部５が有し実行する態様であっても構わない。

本発明の特徴である動きベクトルのリアルタイム算出処理について、以下に詳細を説明する。

＜動きベクトル算出方法＞
動き検出処理部５では、現フレームと前フレームの画像データとを比較して動きベクトルを算出する処理を、ＲＰＵ４からの現フレームの画像データの入力に対してリアルタイムに処理することを特徴としている。

尚、以下の説明で、画素データと記している動き検出処理部５で扱うデータは、画像データをＹＣｂＣｒ形式で表したときのＹ成分や、Ｌａｂ形式で表したときのＬ成分などの輝度成分の値を意味するが、本発明はこれに限るものではない。

撮像部２から入力され、ＳＰＵ３およびＲＰＵ４で信号処理された現フレームの画像データは、バス８を介して動き検出処理部５へ入力される。動き検出処理部５内では、入力される現フレームの画像データを所定の大きさのブロック領域でリアルタイムに走査しながら、これを先にメモリ７に格納されていた前フレームの画像データの対応する領域と比較する処理を進めて、動きベクトルを算出する。

動き検出処理部５において所定のブロック領域を走査する方法を、図２を用いて説明する。尚、説明を簡単にするため、以下では縦５画素×横５画素の領域をブロック領域として説明するが、本発明はこれに限るものではなく、マクロブロックに相当する縦横１６画素の領域等、異なる大きさの画素領域を対象とするものであっても構わない。

縦５画素×横５画素の領域を対象とする動き検出処理部５内部には、図２に示すように、これに対応する５行５列のレジスタＰ００〜Ｐ４４と、４つのラインバッファ１２〜１５と、を備える。

図２に示すように、ＲＰＵ４から出力される現フレームの画像データ１０は、その画素データが、左上から右方向に向かって１行ずつ走査する形でＡ００、Ａ０１、Ａ０２…と、順次動き検出処理部５に入力される。入力された画素データは、レジスタＰ００、Ｐ０１、Ｐ０２…と順次送られて行く。即ち、画素データＡ００がレジスタＰ００、Ｐ０１、Ｐ０２…と移動する後を追って、画素データＡ０１が同様にレジスタＰ００、Ｐ０１、Ｐ０２…と移動してゆくことで、最初はレジスタＰ００に画素データＡ００、次のクロックではレジスタＰ０１，Ｐ００にそれぞれ画素データＡ００，Ａ０１、さらに次のクロックではレジスタＰ０２，Ｐ０１，Ｐ００に画素データＡ００，Ａ０１，Ａ０２、という具合に現フレームの画像データ１０の入力が進行する。そして、レジスタＰ０４の下流には、ラインバッファ１２設けられており、各画素データは当該ラインバッファ１２上に所定の時間が経過するまで保持された後、さらに、その下流にあるレジスタＰ１０、Ｐ１１、Ｐ１２…へと移動を続けることになる。

ここで、ラインバッファ１２〜１５に格納される時間は、入力される画像データにより決定される。画像データが、横Ｎ画素の大きさであれば、ラインバッファ１２〜１５は（Ｎ−５）画素分の画素データを格納する容量を有し、画素データはラインバッファ１２〜１５に達した後（Ｎ−４）クロックの間ラインバッファ内に保持されることとなる。

これにより、レジスタＰ４４に画素データＡ００が格納されたときには、レジスタＰ００には画素データＡ４４が格納され、レジスタＰ００〜Ｐ４４には、Ａ００とＡ４４を対角線とする縦５画素×横５画素の矩形領域内の画素データ全てが格納された状態となる。そして、その次のクロックでレジスタＰ４４に画素データＡ０１が格納されたときには、レジスタＰ００には画素データＡ４５が格納され、レジスタＰ００からＰ４４には、Ａ０１とＡ４５を対角線とする矩形領域の全画素データが格納された状態となる。

同様の処理を続け、レジスタＰ００〜Ｐ４４に格納される画像データ１０上のブロック領域の右端が、画像データ１０の右端の画素データと一致すると、そのときから（Ｎ−５）クロックの時間経過後には、ブロック領域が画像データ１０上の左端に戻り、かつ下方向へ１画素分移動した状態となり、レジスタＰ００〜Ｐ４４には、Ａ１０とＡ５４を対角線とする矩形領域の画素データが格納される。そしてまた同様にブロック領域が右方向へ１画素分ずつ移動してゆく。

即ち、ラインバッファ１２〜１５を利用しながら、ＲＰＵ４から入力される画素データを順次格納して行くことで、レジスタＰ００〜Ｐ４４に格納される画素データのブロック領域が、画像データ上を左端から右方向へ１画素分ずつ移動し、右端へ達したときは、下方向へ１画素分移動した左端へ戻り、また右方向へ１画素分ずつ移動するというように、ブロック領域が画像データ１０上を走査する動作を実現している。

このような動作を行うことで、ＲＰＵ４から入力される画像データ１０の全体を一旦メモリ７等の記憶装置上に格納した後、これから所定の領域を読み出す必要はなく、ＲＰＵ４から入力される動作に対してリアルタイムに画像データ１０上の所定領域を走査することが可能となる。そのため、従来に比して利用するメモリ７の容量を低減するとともに、後述する動き補償を行うまでの時間を短縮することができる。

次に、レジスタＰ００〜Ｐ４４に、画像データ１０の所定のブロック領域が保持された後の動きベクトルの算出処理について図３を用いて説明する。

動き検出処理部５は、動き補償を利用して動画像を効率よく圧縮保存するため、入力される現フレームの画像データと、前フレームの画像データとを比較して、動きベクトルを算出する処理を行う。

図３に示すように、動き検出処理部５内の各レジスタＰ００〜Ｐ４４には減算器（減算手段）３０が接続され、当該減算器３０には総和演算器（総和演算手段）３１が接続されている。そして、動き検出処理部５は、レジスタＰ００〜Ｐ４４に格納された画素データと、前フレームの所定の画素データとの差分値を減算器３０により演算し、当該差分値の絶対値である差分絶対値を総和演算器３１に格納済みの値に加算し、その結果を総和演算器３１に格納する機能を有する。即ち、総和演算器３１は、画素データ間の差分絶対値の総和（ＳＡＤ：Sum of Absolute Difference）を格納する機能を有する。具体的な処理は以下の通りである。

現フレームの画像データ１０を構成する画素データがＲＰＵ４から動き検出処理部５へ順次入力されると、上述したように、レジスタＰ００〜Ｐ４４には、画像データ１０上の縦５画素×横５画素のブロック領域の画素データが格納された状態となる。現フレームの画像データ１０から最初のブロック領域の画素データが、レジスタＰ００〜Ｐ４４に格納されたとき、動き検出処理部５は、メモリ７へ格納されていた前フレームの画像データ２０から、所定の画素データを読み出した状態にある。そして、この値と各レジスタＰ００〜Ｐ４４に格納された画素データの値との差分値を算出し、当該差分値の絶対値を総和演算器３１に格納する。このとき、参照される前フレームの画素データは、図３に示すように、レジスタＰ００〜Ｐ４４に格納された現フレームの画素領域に対応する、Ｑ００とＱ４４を対角線とする矩形領域の中心画素であるＱ２２の画素データである。ただし、参照する前フレームの画素データは、中心画素に限られるものではなく、他の画素データを参照する態様であっても構わない。

次のクロックでは、レジスタＰ００〜Ｐ４４に格納される画素領域は現フレームの画像データ１０上を１画素分右へ移動した領域となる。これに対応して、動き検出処理部５は、前フレームの画像データ２０の対応領域、Ｑ０１とＱ４５を対角線とする矩形領域の中心画素であるＱ２３の画素データをメモリ７から読み出す。そして、当該画素データＱ２３の値と、各レジスタＰ００〜Ｐ４４に格納された画素データとの差分絶対値を求めて、これを、先に格納してあった総和演算器３１の値に加算して格納する。

このように、現フレームの画像データ１０を入力動作に対してリアルタイムに走査しながら、走査する領域の画素データと前フレームの対応領域の中心画素の画素データとの差分絶対値を求め、これを加算する処理を続けると、現フレームの画像データ１０の入力が終わったとき、２５個の各総和演算器３１には、各画素データ毎に求めた差分絶対値の総和が格納された状態となる。

現フレームの画素データと、前フレームの対応する領域の中心画素の画素データとの差分値を求めることは、前フレームの中心画素と一致する画素を現フレーム内から探索することを意味している。例えば、前フレームの中心画素の画素データと、前フレームと対応する現フレームの中心画素からある方向へ２画素分移動した画素データと、の差分値が０となったということは、前フレームから現フレームにかけて、撮像対象物が２画素分その方向へ移動した可能性を示している。誤差等の要因を考慮すると、非常に狭い一つの領域のみの演算結果から撮像対象物の動きを判断することは困難であるが、上述したように、現フレームの画像データ全体を走査して、画素データのバラツキ等による正負の影響を受けないよう差分絶対値の総和を求めれば、その演算結果が撮像対象物の動きを示す可能性は高くなる。そのため、動き検出処理部５は、上述した処理によって差分絶対値の総和を求めるのである。

例えば、現フレームの画像データ１０の入力が終了したときに、総和演算器３１に格納された各演算結果が、図４（ａ）のような値を有するときは、中心画素から２画素右に位置する画素データの値が最も小さいことから、前フレームから現フレームにかけてその方向へ２画素分の動きがあったことを示し、図４（ｂ）のような値を有するときは、中心画素の値が最も小さいことから、前フレームから現フレームにかけて動きがなかったことを示していると考られる。そして、この動きの量と方向を算出することが動きベクトルを算出することになる。この処理は、動きベクトル算出ユニット３２が行う。

現フレームの画像データは、次のフレームの画像データが動き検出処理部５に入力されたときに前フレームのデータとして利用するため、バス８およびメモリＩ／Ｆ６を介してメモリ７へ格納しておく。

現フレームの画像データは、動きベクトル算出ユニット３２で算出された動きベクトルを利用した動き補償によりＭＰＥＧ等の所定の形式に圧縮変換される。この圧縮処理は、上述したように、動き検出処理部５が専用の処理ユニットを備え、当該処理ユニットにより行われる態様であってもよいし、画像処理装置１が、動き検出処理部５とは別個に圧縮処理部を備え、当該処理部により行われる態様であっても構わない。そして、圧縮変換された動画像データは、画像処理装置１から出力され、メモリ７やハードディスク等の記憶装置に蓄積保存して利用される。

このように、ＲＰＵ４から入力される現フレームの画像データを、所定領域毎に、メモリ７等の記憶装置を利用せずレジスタに直接格納することで、前フレームの画像データとの比較演算を、画像データの入力に対してリアルタイムに行うことができる。そのため、画像データの入力から動きベクトル算出までの処理時間が短縮されるとともに、従来のように高クロックで処理する必要がなく、バス８に係る負荷が高くなったり、消費電力が大きくなるといった問題を解決することができる。

（第２の実施の形態）
第１の実施の形態では、縦５画素×横５画素のブロック領域毎に現フレームの画像データと前フレームの画像データとを比較したが、本実施の形態では、縦５画素で横方向の全画素を含む領域、即ち５行分に相当する領域毎に比較演算を行う。ただし、ここでも第１の実施の形態と同様、５行としているのは一例であって、これとは異なる行数の処理をするものであっても構わない。

本実施の形態における画像処理装置は、動き検出処理部５内のレジスタの構成および動作以外は、第１の実施の形態の図１で示した画像処理装置１と同様であるため、同様の部分については説明を省略する。

動き検出処理部５内の構成を図５に示す。本実施の形態における動き検出処理部５は、縦５画素×横５画素のレジスタ群を１ブロックとして、これを画像データの横幅いっぱいにｎブロック分並べた構成を有する。画像データ１行分を格納するレジスタを有するためラインバッファを必要としない点が、第１の実施の形態と異なる。

次に、本実施の形態での動き検出処理部５の動作を、第１の実施の形態に記載した動作との差異点を中心に説明する。

ＲＰＵ４から順次入力される現フレームの画素データは、レジスタをＰ₁００、Ｐ₁０１…と右方向へ移動し、右端のレジスタＰ_n０４のレジスタに到達すると、次はレジスタＰ₁１０、Ｐ₁１１…へと移動する。

こうしてＰ₁００からＰ_n４４の５行分のレジスタに、現フレームの画像データの１行目から５行目までの全ての画素データが格納されたときに、前フレームの画像データとの比較演算を行う。このとき、各ブロックのレジスタには、メモリ７に格納された前フレームの動画像データ２０から、各ブロックに対応する領域の中心画素の画素データが読み出される。具体的には、図５に示すように、レジスタＰ₁００〜Ｐ₁４４の第１レジスタ群には前フレームのＱ₁２２の画素データが、レジスタＰ₂００〜Ｐ₂４４の第２レジスタ群には前フレームのＱ₂２２の画素データがというように、ｎブロックの全てのレジスタ群において各ブロック毎にそれぞれ対応する前フレームの中心画素の画素データが読み出される。そして、第１の実施の形態と同様に、減算器３０を利用して各レジスタの画素データと読み出した前フレームの画素データとの差分値を求め、この絶対値を総和演算器３１に格納する。

次に、動き検出処理部５に、現フレームの１行分の画素データがさらに入力されると、Ｐ₁００からＰ_n４４の５行分のレジスタには、現フレームの画像データの２行目から６行目までの画素データが格納された状態となる。このとき、上述したのと同様に、対応する前フレームの画素データＱ₁２３，Ｑ₂２３…Ｑ_n２３がメモリ７から読み出される。そして、同様に、各レジスタの画素データと読み出した前フレームの画素データとの差分絶対値を加算し、その演算結果を、先に総和演算器３１に格納された値に加算する。

第１の実施の形態では、縦５画素×横５画素のブロック領域毎の画素データを右方向へ１画素分ずつずらしながら比較演算したが、本実施の形態では、５行分の領域の画素データを１行分ずつ下方向へずらしながら比較演算を行うのである。

このような処理を現フレームの全ての画素データの入力を終えるまで続けると、（５×ｎ）個の各総和演算器３１には、各ブロック毎に、求めた差分絶対値の総和が格納された状態となる。

総和演算器３１に格納された値を、ブロック毎に、第１の実施の形態で上述したのと同様に処理すれば、各ブロック毎の動きベクトルを算出することができる。第１の実施の形態で上述したのと異なるのは、ブロック数に相当するｎ個の動きベクトルが求められる点のみである。求められたｎ個の動きベクトルを平均すれば、画像データ全体について一つの動きベクトルを求めることとなり、これ以降は、第１の実施の形態で上述したのと全く同様の処理で、動き補償を利用した動画像の圧縮変換等の処理を行うことができる。

本実施の形態によれば、第１の実施の形態と同様に、メモリ７等の記憶装置を利用することなく、ＲＰＵ４からの画像データの入力に対してリアルタイムに、動きベクトルの算出処理を進めることができる。画像データの横方向の画素分に相当するレジスタ等が必要となるため、第１の実施の形態に比して回路規模は大きくなるが、例えば一の減算器３０で演算するデータ量が１／ｎとなるように各部での処理量が減少するため、発熱量を抑制するといった効果が期待できる。

（第３の実施の形態）
第２の実施の形態では、５行分のレジスタを用いて、ブロック毎に現フレームの画素データと前フレームの比較を行った。これに対し、本実施の形態では、動き検出処理部５が１行分のレジスタのみから構成され、現フレームの１行分の画素データと当該画素データに対応する前フレームの画素データとの差分値絶対値を求め、これを総和演算器３１ではなくメモリ７に格納しながら総和を求める点が第２の実施の形態と異なる。

動き検出処理部５は、図５に示すレジスタのうち、１行分のレジスタＰ₁００〜Ｐ_n０４と、当該レジスタに接続された減算器３０と、減算器３０に接続された総和演算器３１のみを備える。その他の画像処理装置１の構成は、第１および第２の実施の形態と同様であるため、同様の部分については説明を省略する。

以下、本実施の形態における動き検出処理部５の動作を、第２の実施の形態に記載した動作との差異点を中心に説明する。

ＲＰＵ４から画素データが入力され、レジスタＰ₁００〜Ｐ_n０４に、現フレームの１行目の画素データが格納された段階で、各画素データが属するブロックに対応する、前フレームの画像データの中心画素データをメモリ７から読み出す。具体的には、レジスタＰ₁００〜Ｐ₁０４には、当該レジスタが属する第１ブロックに対応する前フレームの中心画素データＱ₁２２を、レジスタＰ₂００〜Ｐ₂０４には、当該レジスタが属する第２ブロックに対応する前フレームの中心画素データＱ₂２２を、メモリ７から読み出すといった具合である。そして、減算器３０および総和演算器３１を利用して、読み出した前フレームの画素データＱ₁２２〜Ｑ_n２２と、各レジスタＰ₁００〜Ｐ_n０４に格納された画素データとの差分絶対値を求める。求めた差分絶対値は、それぞれ、メモリ７の所定領域に格納する。

次に、ＲＰＵ４から現フレームの画像データの入力が続けられ、当該画像データの２行目の画素データが、レジスタＰ₁００〜Ｐ_n０４に格納された段階で、同様に、前フレームの対応するブロックの中心画素データＱ₁２２，Ｑ₂２２…Ｑ_n２２との差分絶対値を求める。求めた差分絶対値は、それぞれ、メモリ７上の、先の１行目の演算で求めて格納した領域とは別の所定領域に格納する。

上述の処理を現フレームの画像データの５行目の画素データが入力されるまで続けると、メモリ７上に設けた所定領域に、２５個の差分絶対値が格納された状態になる。即ち、第２の実施の形態では、各ブロック毎に差分絶対値を求め、これを各レジスタ毎に備えられた総和演算器３１に格納して総和を求めていたのを、本実施の形態では、１行分のレジスタを利用して各行毎に差分絶対値を求め、これをメモリ７上の所定領域に格納する点のみが異なる。

よって、引き続き同様の処理を続け、現フレームの６行目の画素データにより求めた差分絶対値は先にメモリ７の所定領域に格納した１行目の差分絶対値に加算する、といった具合に、現フレームの画像データを１行ずつ下方向に走査して行き、対応する前フレームの画素データとの差分絶対値を、メモリ７上に設けた所定の記憶領域上で加算してゆくことで、第２の実施の形態と全く同様の処理を実現することができる。

本実施の形態によれば、利用するレジスタ等が少なく第２の実施の形態に比して小さい回路規模でありながら、第２の実施の形態と同様に、メモリ７等の記憶装置を利用することなく、ＲＰＵ４からの画像データの入力に対してリアルタイムに、動きベクトルの算出処理を進めることができる。また、画像データの横方向の画素分に相当するレジスタ等が必要となるため、第１の実施の形態に比して回路規模は大きくなるが、一の減算器３０等で演算するデータ量が５／ｎとなるように、各部での処理量が減少するため、装置の発熱量を抑制するといった効果が期待できる。

（第４の実施の形態）
第１〜第３の実施の形態では、現フレームと前フレームの画素データの差分絶対値を所定のブロック領域ごとに求め、当該ブロック領域を１画素ずまたは１行つずらしながら画像データ全体を走査して、差分絶対値の総和を求める。よって、１フレームの画像データの走査が終了したときには、差分絶対値の総和が、ブロック領域に含まれる画素分だけ（例えば第１の実施の形態では２５個）得られることとなる。そして、このようにして求めた差分絶対値の総和から、１つの動きベクトルを算出する。

これに対し、本実施の形態では差分絶対値の総和を求めず、当該差分絶対値を求めるブロック領域毎に動きベクトルを求める点が異なっている。具体的には以下の通りである。

例えば、横３２０画素×縦２４０画素の動画像データにおいて、縦５画素×横５画素のブロックごとに現フレームと前フレームの画像データを比較して差分絶対値を求めることとする。

このとき、第１の実施の形態では、２５個の差分絶対値の総和が得られ、これから１つの動きベクトルを算出する。第２および第３の実施の形態では、５行分の領域ごとに処理して求めた５行分×横３２０画素分＝１６００個の差分絶対値の総和が得られ、横３２０画素／横５画素分＝６４個の各ブロックで１つの動きベクトルを演算するため、この段階で６４個の動きベクトルが算出される。ただし、最終的には平均して１つの動きベクトルを算出して利用する。

これに対し、本実施の形態では、ブロック毎に動きベクトルを算出するため、縦６４ブロック×横４８ブロック＝３０７２個の動きベクトルが求められる。

本実施の形態を実現するには、第１〜第３の実施の形態で示した動き検出処理部５の動作内容のみを変更すればよい。よって、画像処理装置１の構成等、上述の実施の形態と同様の部分については説明を省略する。

以下に、図３を参照しながら、本実施の形態における動き検出処理部５の動作を、第１の実施の形態に記載した動作との差異点を中心に、説明する。

ＲＰＵ４から入力される画素データが、２５個のレジスタＰ００〜Ｐ４４に格納されると、縦５画素×横５画素のブロック領域ごとに、現フレームの画像データと前フレームの対応する領域の中心画素の画素データとの差分絶対値を求める。ここまでの処理は、第１の実施の形態と同様である。

ブロック領域で差分絶対値が求められると、この段階で、求められた２５個の差分絶対値から、当該ブロック領域における動きベクトルを算出する。算出した動きベクトルは、メモリ７内の所定領域へ格納しておく。そして、動きベクトルを算出した後、総和演算器３１内にあった差分絶対値を初期化して０にする。

ＲＰＵ４から引き続き画素データが入力されたとき、第１の実施の形態では、ブロック領域が右方向に１画素分移動した段階で差分絶対値を演算していたが、本実施の形態では、右方向に５画素分移動するまで演算を行わない。即ち、ブロック領域が、１画素分ではなく、１ブロック分移動したときに、差分絶対値を求めるのである。そして、１ブロック分移動して差分絶対値が求められると、当該差分絶対値から、また１つの動きベクトルを算出する。先のブロック領域の演算後、総和演算器の中は初期化されているため、このとき求められる動きベクトルは、先のブロックの影響を受けず、当該ブロック領域の現フレームと前フレームの比較結果のみから算出されたことになる。こうして求められた動きベクトルは、また、先のブロックでの演算結果を格納したのとは別個に、メモリ７内の所定領域へ格納される。そして、また、総和演算器の中はクリアされる。

このような、処理を、現フレームの画像データの全ての画素データが入力されるまで続ければ、ブロック領域毎に動きベクトルが算出され、算出された全ての動きベクトルは、メモリ７内の所定領域へ格納された状態になる。

尚、本実施の形態は、第１の実施の形態だけではなく、第２および第３の実施の形態による装置の構成でも同様に実現することができる。具体的には、５行分の画素データについて差分絶対値が求められた段階で、ｎ個の各ブロック毎に動きベクトルを算出し、これをメモリ７のｎ個の所定領域へ格納すればよい。その後、総和演算器の値を初期化し、次に５行分下方向へ移動した段階で、同様の処理を行う。このような処理を繰り返せば、全てのブロック領域について動きベクトルを算出し、これをメモリ７内の所定領域へ格納することができる。

こうして処理された画像データにおいては、横３２０画素×縦２４０画素の動画像データが対象であれば、全ブロック数に相当する横６４×縦４８＝３０７２個の動きベクトルが算出されることになる。

これらの各動きベクトルをそのまま利用して、動き補償による画像データの圧縮変換を行ってもよいが、処理量が膨大となるため、図６に示すように、動きベクトルの平均化処理または統合化処理をすることにより演算量を低減してもよい。

例えば、横６４×縦４８に分布する３０７２個の各ブロックの動きベクトルを、横８×縦８のブロック領域毎に平均化して利用すれば、横８×縦６＝４８個の動きベクトルとなる。平均化については、横８×縦８の動きベクトルを算術的に平均すればよい。

次に、統合化の方法は以下の通りである。

あるブロックの動きベクトルと、当該ブロックの周囲に位置する８ブロックの動きベクトルとを比較し、近い値を有するものは１グループに統合する。具体的には、例えば、動きベクトルを矢印で表したときに図７（ａ）に示す状態であれば、中心に位置するブロック４０と、このブロック４０の動きベクトルの値との差が所定の値以下である動きベクトルを有するブロック４１とを統合する。統合したグループの動きベクトルの値は、比較元のブロック４０の動きベクトルの値としてもよいし、統合する全てのブロック４０，４１の動きベクトルの値を平均した値としても構わない。続いて、今度は統合されたブロック４１を比較元として、同様に周囲のブロックの動きベクトルを調べる処理を続けると、統合されたグループの島が成長する。そして、同じグループに属するブロックが周囲に存在しなくなれば、今度は、当該グループに含まれなかったブロックを比較元として同様の処理を行う。このような処理を行うことで、図７（ｂ）に示すように、幾つかのグループが形成されることとなる。

あるいは、統合化の方法は以下のような方法であってもよい。

予め、図８（ａ）に示すような、動きベクトルのパターンファイルを、データベースとして準備しておく。または、動きベクトルを算出する段階で、各動きベクトルの値や分布を統計的に処理して、出現しやすい動きベクトルの値や分布をパターンファイルとして生成する態様であっても構わない。Ａパターンであれば４つのブロック領域が３つにグループ化され、ＢパターンおよびＣパターンであれば同様に４つのブロック領域が２つにグループ化される事となる。

このパターンファイルと、算出した画像データ内の動きベクトルの分布とを比較して、その差が所定の値以下であるかどうかを調べるパターンマッチング処理を行う。そして、その結果、整合性の高いパターンファイルが探索されれば、その後の処理では、探索したパターンファイルにあるブロックおよび動きベクトルを、当該画像データのブロックおよび動きベクトルとして利用する。

バターンファイルとの整合性を調べるのは、ブロック単位に限らず、複数のブロックを対象としても構わない。例えば、画像データ全体とパターンファイルとの整合性が見られるときには、画像データ全体を図８（ａ）に示すようなパターンファイルと同じ動きベクトルを有するものとして取り扱う。

具体的には、例えば、図８（ｂ）に示すように、上半分には左方向から右方向へ移動する電車が、下半分には右方向から左方向へ移動するバスが、含まれる画像データについて、上述した方法で動きベクトルを算出する。そして、図８（ｃ）に示すような多数の動きベクトルの分布が得られると、各パターンファイルとの整合性をパターンマッチング処理によって調べる。その結果、図８（ａ）に示すＡパターンとの整合性が高いという結果が得られると、当該画像データは、図８（ｃ）ではなく図８（ｄ）に示すようなブロックおよび動きベクトルから構成されるものとして、以降の動き補償に係る処理を進める。このような統合化処理を行うことで、ブロックおよび動きベクトルの数を減らし、動き補償に係る演算量を大幅に低減することができる。

尚、平均化処理と統合化処理は、個別に行う態様に限らず、例えば、複数ブロックを平均化処理して全体のブロック数を低減した後、さらに統合化処理する態様であっても構わない。

このように、平均化処理や統合化処理を施して、ブロックおよび動きベクトルの数を低減した後、第１〜第３の実施の形態と同様に、当該動きベクトルを利用して動き補償による圧縮変換を行う。

第１〜第３の実施の形態では、現フレームの画像データ内に、前フレームから同じ方向ではあるが異なる量だけ動いた物体や、全く独立した動きをした物体等が複数存在する場合等であっても、１フレームの画像データにおける動きベクトルを１つに平均化してしまうため、動き補償に係る精度が悪化する。その結果、圧縮変換後の動画像データが劣化し、動画像を復号して再生したときにノイズが生ずる等の問題が発生する可能性がある。これに対し、本実施の形態では、画像データの各ブロック毎に動きベクトルを算出して、複数の領域において、それぞれの動きベクトルを効率よく算出することができるため、このような問題の発生を回避することが可能である。また、動きベクトルの平均化処理や統合化処理を行えば、複数の物体の動きの検出を可能としながらも、動きベクトルを利用する演算の処理量を低減することが可能である。

（第５の実施の形態）
第１〜第４の実施の形態では、例として、縦５画素×横５画素のブロック領域を対象として、当該ブロック領域の現フレームと前フレームの画像データを比較演算し、当該ブロック領域内における動きの発生を判断する。しかし、上述したように、これは一例であって、扱うブロック領域の大きさは、５画素以上の大きさであっても構わない。例えば、前フレームから現フレームにかけて、中心画素が３画素分以上の距離を移動した場合、上記の縦５画素×横５画素のブロック領域の探索では、その動きを検出することができない。よって、このような問題の発生を避けるため、例えば、縦１６画素×横１６画素のマクロブロック等、より広い画素領域で動きを検出する態様であっても構わない。ただし、この場合、対象とするブロック領域の画素数に相当する数のレジスタが必要となるため、回路規模が大きくなるという問題がある。

そのため、本発明では、レジスタ等の回路規模を拡大するのではなく、処理対象である動画像データを縮小することで、相対的に動きを探索する領域を拡大する。例えば、ある大きさの画像データにおいて動きベクトルの大きさが中心画素から４画素分であったとする。この場合、上述したように、上記の実施の形態では動きを検出して動きベクトルを算出することはできない。しかし、元の大きさの画像を１／２の大きさに縮小し、この縮小画像を利用して先の動きを検出する場合、４画素分の動きベクトルは２画素分の大きさに縮小されるため、回路規模を変更することなく、上述の実施の形態によって動きを検出することが可能となる。本実施の形態では、これを利用して、上述の実施の形態では対応不可能であった動きにも対応することが可能となる。

本実施の形態を実現するには、図１に示す第１〜第４の実施の形態における画像処理装置１の構成のうちＲＰＵ４のみを変更すればよい。具体的には、ＲＰＵ４が現フレームの画像データを縮小して出力する機能を有すればよい。当該機能を有するＲＰＵ４が縮小処理手段を構成する。

以下に、本実施の形態における動作を説明する。

ＲＰＵ４は、図９に示すように、撮像部２から入力される現フレームの画像データ５０を、そのままの大きさの画像データ５１として出力するほか、所定の割合で縮小した大きさの画像データ５２，５３を出力する機能を有する。これにより、メモリ７上へ格納される前フレームの画像データも、撮像部２からの画像信号に基づく大きさの画像データ６１、またはＲＰＵ４によって縮小された大きさのデータ６２，６３となる。

元の大きさの現フレームの画像データ５１と、前フレームの画像データ６１と、を利用すれば、第１〜第４の実施の形態で上述したのと全く同じ処理を実現することになる。また、ＲＰＵ４によって縮小された現フレームの画像データ５２と、前フレームの画像データ６２とを利用して、第１〜第４の実施の形態で上述した処理を実行すれば、同じ縦５画素×横５画素のブロック領域を処理しても、画像データが縮小され当該ブロック領域に含まれる範囲が相対的に広くなっているため、元の大きさの画像データ５１を利用するときよりも、より大きな動きを検出可能となる。さらに、ＲＰＵ４による縮小率を上げた、より小さい現フレームの画像データ５３と、前フレームの画像データ６３とを利用すれば、動きベクトルの探索範囲がさらに拡大される。

また、上述した態様のほか、画像処理装置１が、２つ以上のＲＰＵ４および動き検出処理部５を備え、各ＲＰＵ４がそれぞれ異なる大きさの画像データを出力し、各動き検出処理部５において、それぞれ異なる大きさの画像データを利用して第１〜第４の実施の形態で上述した動きベクトルの算出を行えば、より効果的な動き探索を行うことが可能である。

例えば、元の大きさの画像データ５１と、縮小された画像データ５２，５３とを、それぞれ独立した処理部で処理して動きベクトルを算出する。そして、基本的には、元の大きさの画像データ５１を利用した結果を採用することとしながら、これでは動きベクトルが探索できない大きな動きが発生した場合にのみ、縮小された画像データ５２，５３を利用した結果を採用することとする。これにより、元の大きさの画像データを利用して、より詳細な動きベクトルの探索を行うことを基本としながら、これでは対応不可能な大きな動きが発生した場合にも対応できることとなる。

このように、本実施の形態によれば、第１〜第４の実施の形態で上述した回路規模を維持しながら、動きベクトルの探索領域を相対的に拡大し、第１〜第４の実施の形態では、検出不可能であった大きな動きにも対応することが可能となる。

（変形例）
上記第１〜第５の実施の形態は、現フレームの画素データを動き検出処理部５のレジスタ群に格納し、記憶装置から読み出した前フレームの対応する所定の画素データと比較演算することによって、動きベクトルを算出する態様である。しかし、本発明はこれに限らず、処理対象を逆にして、前フレームの画素データを動き検出処理部５のレジスタ群に格納し、動き検出処理部５に現フレームの対応する所定の画素データが入力されたときに、比較演算を行って動きベクトルを算出する態様であっても構わない。

この発明の第１の実施の形態に係る画像処理装置を示す図である。 この発明の第１の実施の形態に係る動き検出処理部への画素データの入力動作を説明する図である。 この発明の第１の実施の形態に係る動き検出処理部の動作を説明する図である。 この発明の第１の実施の形態に係る動きベクトルの算出方法を説明する図である。 この発明の第２の実施の形態に係る動き検出処理部の動作を説明する図である。 この発明の第４の実施の形態に係る動きベクトルの処理を説明する図である。 この発明の第４の実施の形態に係る動きベクトルのグループ化処理を説明する図である。 この発明の第４の実施の形態に係る動きベクトルのパターン探索処理を説明する図である。 この発明の第５の実施の形態に係る動きベクトルの算出方法を示す図である。

符号の説明

１ 画像処理装置
２ 撮像部
３ センサプロセッシングユニット
４ リアルタイムプロセッシングユニット
５ 動き検出処理部
６ メモリインターフェース
７ メモリ
１０ 現フレームの画像データ
２０ 前フレームの画像データ
３０ 減算器
３１ 総和演算器

Claims (8)

1. 入力される動画像から動きベクトルを算出する画像処理装置であって、
   入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、
   前記現フレームより１フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、
   前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データと、を比較して、動きベクトルを算出する動き検出処理手段と、
   を備え、前記動き検出処理手段は、
   前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、
   前記レジスタに格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データと、を比較して差分値を求める減算手段と、
   前記減算手段により求めた前記差分値の絶対値の和を累積しながら格納する総和演算手段と、
   前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で前記減算手段により求めて前記総和演算手段に累積した差分値の絶対値の総和から、動きベクトルを算出する手段とを備え、
   前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に１画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ１画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に１画素分ずつ移動する動きを含む、
   画像処理装置。
2. 入力される動画像から動きベクトルを算出する画像処理装置であって、
   入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、
   前記現フレームより１フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、
   前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データと、を比較して、動きベクトルを算出する動き検出処理手段と、
   を備え、前記動き検出処理手段は、
   前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、
   前記レジスタに格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データと、を比較して差分値を求める減算手段と、
   前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で、前記減算手段により求めた差分値の絶対値の和を累積しながら前記記憶手段に格納する手段と、
   前記記憶手段に格納された前記差分値の絶対値の総和から、動きベクトルを算出する手段とを備え、
   前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に１画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ１画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に１画素分ずつ移動する動きを含む、
   画像処理装置。
3. 入力される動画像から動きベクトルを算出する画像処理装置であって、
   入力される画像信号に信号処理を施した現フレームの画像データを出力する信号処理手段と、
   前記現フレームより１フレーム分前の画像データである前フレームの画像データを格納する記憶手段と、
   前記信号処理手段から入力される現フレームの画像データと、前記記憶手段から読み出した前フレームの画像データと、を比較して、動きベクトルを算出する動き検出処理手段と、
   を備え、前記動き検出処理手段は、
   前記信号処理手段より直接入力される前記現フレームの画像データを構成する画素データを、所定サイズのブロック領域ごとに格納するレジスタと、
   前記レジスタ手段に格納した前記現フレームの各画素データと、前記前フレームの画像データの前記ブロック領域に対応する領域に含まれる所定の画素データと、を比較して差分値を求める減算手段と、
   前記現フレームの画像データの入力動作に伴って前記レジスタに格納する前記画素データを前記ブロック領域単位の動きとして順次変更しながら、所定の各段階で、前記減算手段により求めた差分値の絶対値から動きベクトルを算出する手段と、
   前記動きベクトルを前記記憶手段に格納する手段とを備え、
   前記ブロック領域単位の動きは、前記レジスタに格納される前記画素データの前記ブロック領域が、前記画像データ上を横方向一方端から横方向他方端に向かう方向に１画素分ずつ移動し、前記横方向他方端へ達したときは、上下方向一方端に向かう方向へ１画素分移動した前記横方向一方端へ戻り、また前記横方向他方端に向かう方向に１画素分ずつ移動する動きを含む、
   画像処理装置。
4. 請求項１ないし請求項３のいずれかに記載の画像処理装置であって、
   前記現フレームの画像データに代えて前記前フレームの画像データを処理対象とし、前記前フレームの画像データに代えて前記現フレームの画像データを処理対象として、動作することを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
   前記信号処理手段は、
   前記画像データを縮小変換する縮小処理手段、
   を含み、
   前記動き検出処理手段は、前記縮小処理手段により縮小変換された現フレームの画像データと前フレームの画像データとを、比較の処理対象として動きベクトルを算出することを特徴とする画像処理装置。
6. 請求項３ないし請求項５のいずれかに記載の画像処理装置であって、
   前記動き検出処理手段は、さらに、
   算出した前記動きベクトルを、複数のブロック領域毎に平均化する平均処理手段、
   を含むことを特徴とする画像処理装置。
7. 請求項３ないし請求項６のいずれかに記載の画像処理装置であって、
   前記動き検出処理手段は、さらに、
   算出した前記動きベクトルの差分が所定の値以下であるブロック領域を、一のグループとして統合する統合処理手段、
   を含むことを特徴とする画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記統合処理手段は、
   前記動きベクトルが所定のパターンで分布するブロック領域を探索する手段、
   を含むことを特徴とする画像処理装置。
   

Images