JP4533447B2 - 画像処理装置 - Google Patents

Description

この発明は、ディジタルカメラ等の電子的撮像装置に用いられる画像処理装置に関する。

一般に、ＣＣＤなどの固体撮像素子を用いたディジタルカメラ等の電子的撮像装置における画像処理の手順としては、図18に示すように、まずＣＣＤ撮像素子101 から出力された撮像信号はプリプロセス処理102 がなされたのち、フレームメモリ103 に一旦記憶される。次いで、フレームメモリ103 から画像データを読み出し、複数のイメージプロセス処理104-１〜104-ｎを順次行い、最後にＪＰＥＧ処理105 を行って、メモリカード106 等の記録媒体に記録するという処理がなされている。

このような画像信号の処理手順を実現するにあたって、従来は例えば図19に示すような画像処理装置を用いている。すなわち、従来の画像処理装置は、バス201 にＣＰＵ202 と共にプリプロセス回路203 ，複数のイメージプロセス回路204-１〜204-ｎ，ＪＰＥＧ処理部205 及びフレームメモリ206 がそれぞれ接続されて構成されている。そして、ＣＰＵ202 の制御により、ＣＣＤ撮像素子からの撮像信号がプリプロセス回路203 で処理されたのちバス201 を通してフレームメモリ206 に一旦記録される。次に、フレームメモリ206 から画像データを読み出し、バス201 を通してイメージプロセス回路204-１に入力して処理を行い、再びバス201 を通してフレームメモリ206 に書き直す。以下同様にして、バス201 を介してフレームメモリ206 とイメージプロセス回路204-２〜204-ｎとの間でデータのやり取りを順次行って、最後にＪＰＥＧ処理部205 でＪＰＥＧ処理を行い、処理データをフレームメモリ206 又はメモリカードに記録するようになっている。

従来の画像処理装置は、上記のように複数のイメージプロセス回路による画像処理はそれぞれバスを通してフレームメモリからデータを読み出しあるいは書き込みを行って実行されるようになっている。したがって、実時間処理を行う場合には、バスを通るデータ転送量が極めて多く、処理時間と共に消費電力が増大するという問題点がある。

本発明は、従来の画像処理装置における上記問題点を解消するためになされたもので、バスのデータ転送量を低減すると共にメモリ容量を増やすことなく複数の画像処理を効率よくパイプライン処理で連続的にできるようにすると共に、複数の画像処理を一部バイパス処理できるようにした画像処理装置を提供することを目的とする。

請求項毎の目的を述べると、次のとおりである。すなわち、請求項１に係る発明は、処理時間を短縮させることができると共に、複数段の画像処理部の一部をバイパスさせる場合において各画像処理部における処理すべき基本単位を調整できるようにした画像処理装置を提供することを目的とする。請求項２に係る発明は、画像処理部における処理パラメータの変更に対応して処理すべき基本単位のデータ量を設定できるようにした画像処理装置を提供することを目的とする。請求項３に係る発明は、最終段にブロック単位で画像処理を行うＪＰＥＧ処理部を配設した場合においても、前段の画像処理部の画像データを直接印加できるようにした画像処理装置を提供することを目的とする。また、請求項４に係る発明は、画像処理された画像データを圧縮又は記録された圧縮画像データを伸長処理することが可能な画像処理装置を提供することを目的とする。請求項５に係る発明は、等倍画像記録処理モード、画像サイズ拡大記録処理モード、画像サイズ縮小記録処理モード、非圧縮記録処理モード、圧縮記録画像再生処理モード、非圧縮記録画像再生処理モード、スルー処理モードの各画像処理を容易に選択実行でき、また処理時間を短縮させることの可能な画像処理装置を提供することを目的とする。請求項６に係る発明は、不要な画像処理を行わず電力消費を低減できるようにした画像処理装置を提供することを目的とする。請求項７に係る発明は、複数の画像処理を効率よくパイプライン処理できるようにした画像処理装置を提供することを目的とする。

上記問題点を解決するため、請求項１に係る発明は、フレームメモリに記録された画像データに空間的な画像処理を施す処理部を含む、複数段の直列に接続された画像処理部と、前記フレームメモリに記録された画像データから、（行方向のデータ長）×（前記画像処理部の出力として得られるデータに対して前記複数段の画像処理に要する周辺データを付加した列方向のデータ長）を繰り返し連続して前記画像処理部の初段に入力するデータ入力手段と、複数段の空間的な画像処理を行う前記画像処理部の一部をバイパスさせるバイパス手段と、該バイパス手段により一部の画像処理部をバイパスさせた際、バイパスされた画像処理部において処理に必要とされる該画像処理部の出力データに加えられる周辺データ分を、該バイパスされた画像処理部の前段の画像処理部における処理画像データの基本単位から減じるように基本単位を調整する調整手段と、を備えて画像処理装置を構成するものである。

請求項２に係る発明は、請求項１に係る画像処理装置において、前記画像処理部の処理パラメータを変更する処理パラメータ変更手段と、該処理パラメータ変更手段による画像処理部の処理パラメータの変更に対応して、該画像処理部における処理に必要な周辺データを処理出力データに加えた一定数の列方向データからなる基本単位又は前記処理に必要な周辺データが変更されたとき、その変更分を処理パラメータの変更された画像処理部の前段の画像処理部における基本単位のデータから増減させる手段を備えていることを特徴とするものである。

請求項３に係る発明は、請求項１に係る画像処理装置において、画像圧縮部を更に有し、前記画像処理部の最終段と前記画像圧縮部との間に、ＭＣＵサイズのデータを扱うバッファメモリを備え、該バッファメモリは８×８単位のラスタースキャン方式で読み出されるように構成されていることを特徴とするものである。

請求項４に係る発明は、請求項３に係る画像処理装置において、前記画像処理部の最終段に、ＪＰＥＧ処理部を接続したことを特徴とするものである。

請求項５に係る発明は、請求項３に係る画像処理装置において、前記画像処理部として、少なくともＹＣ生成処理部、ＬＰＦ処理部、拡大縮小処理部のいずれかを備え、画像処理モードとして少なくとも等倍画像記録処理モード、拡大記録処理モード、縮小記録処理モード、非圧縮記録処理モード、圧縮記録画像再生処理モード、非圧縮記録画像再生処理モード、スルー処理モードのいずれかを選択的に設定する手段と、該画像処理モード設定手段で設定された画像処理モードに応じて処理不要となる所定の画像処理部をバイパスさせる手段とを備えていることを特徴とするものである。

請求項６に係る発明は、請求項１に係る画像処理装置において、前記複数段の画像処理部を駆動するためのクロックを供給するクロック供給部と、前記バイパス手段によりバイパスさせられた前記画像処理部へのクロック供給部からのクロック供給又は電源供給を停止する手段を備えていることを特徴とするものである。

請求項７に係る発明は、請求項１に係る画像処理装置において、前記複数段の画像処理部の前段及び後段に設けられたメモリと、前記複数段の画像処理部の前段のメモリに実行可能なデータがあるか否かを判断し、更に後段のメモリ中に空きがあるか否かを判断することにより当該画像処理部の処理動作の実行／停止を制御する手段を備え、当該画像処理部の処理の実行をのりしろを含めた列方向のデータ長さに対応したデータ長で行うようになされたことを特徴とするものである。

請求項１に係る発明によれば、一部の画像処理部をバイパスさせる手段を設けているので、処理時間を短縮させることができ、また一定数の列方向データからなる基本単位を変更する手段を設けているので、画像処理部のバイパスに対応させて各画像処理部において処理すべき基本単位を設定することができる。請求項２に係る発明によれば、画像処理部における処理パラメータの変更に対応して処理すべき基本単位のデータ量を増減設定することができる。請求項３に係る発明によれば、最終段にブロック単位で画像処理を行う画像圧縮部を配設した場合においても、前段の画像処理部の画像データを直接印加することが可能となる。請求項４に係る発明によれば、画像処理データを圧縮して記録し、圧縮記録した画像データを伸長処理することが可能となる。請求項５に係る発明によれば、等倍画像記録処理モード、画像サイズ拡大記録処理モード、画像サイズ縮小記録処理モード、スルー処理モード、非圧縮記録処理モード、圧縮記録画像再生処理モード、非圧縮記録画像再生処理モードのいずれかの画像処理を容易に選択的に実行することができる。請求項６に係る発明によれば、不要な画像処理は行わず且つ電力消費を低減できるようにした画像処理装置を実現することができる。請求項７に係る発明によれば、複数の画像処理を効率よくパイプライン処理できるようにした画像処理装置を実現することができる。

次に、本発明を実施するための最良の形態について説明する。

次に実施例について説明する。まず、本発明に係る概略的な実施例を図１に基づいて説明する。本発明に係る画像処理装置において、バス１に接続された各部の制御を行うＣＰＵ２の制御により、ＣＣＤ撮像素子からの撮像信号をプリプロセス回路３で処理した信号を、バス１を介してフレームメモリ４へ一旦記憶し、次いでフレームメモリ４から読み出した画像データをバス１を介して、イメージプロセス回路部５の初段のイメージプロセス回路５−１に入力し処理させるまでは、従来の画像処理装置と同じである。本発明に係る画像処理装置においては、初段のイメージプロセス回路５−１からｎ段目のイメージプロセス回路５−ｎまで直列に接続しておいて、パイプライン方式で画像処理を行い、ＪＰＥＧ処理部６でＪＰＥＧ処理を行ったのち、画像データをバス１を介してフレームメモリ４やメモリカード等に記録するようになっている。

このようにバス１を介したデータ転送量は、フレームメモリ４から初段のイメージプロセス回路５−１への転送と、ＪＰＥＧ処理部６からフレームメモリ４又はメモリカードへの転送だけとなり、したがってフレームメモリと各イメージプロセス回路との間でデータのやりとりを行っていた従来例と比べて、データ転送量はかなり低減させることができる。

次に、初段のイメージプロセス回路５−１からｎ段目のイメージプロセス回路５−ｎで構成されるイメージプロセス回路部５の具体的な構成を、図２に基づいて説明する。各イメージプロセス回路５−１〜５−ｎの前段にはパイプラインレジスタとして、小容量のメモリ７−１，７−２，・・・・・７−ｎが配置されていて、該メモリ７−１，７−２，・・・・・７−ｎを介して、各イメージプロセス回路５−１〜５−ｎがパイプライン処理動作をして行くように構成されている。これらの小容量のメモリ７−１，７−２，・・・・・７−ｎは、各イメージプロセス回路５−１，５−２，・・・・・５−ｎで空間的な画像処理を行う場合、画像処理に必要な周辺データの記憶をするために、また画像データをブロック単位で読み出して配列換えなどを行って処理する必要があるために、設けられているものである。そして、所望の画像処理によっては、一部のイメージプロセス回路をバイパスして後段のイメージプロセス回路にデータを入力して処理を行うという考慮もなされている。図２では、２段目のイメージプロセス回路５−２から（ｎ−１）段目のイメージプロセス回路５−（ｎ−１）までバイパスしている例を示している。

なお、このように処理不要のイメージプロセス回路をバイパスさせるための信号経路の切り替えは、図示しない処理モードの設定手段などの設定に応じてＣＰＵの制御により行われるようにし、また処理不要のイメージプロセス回路をバイパスさせたとき、そのイメージプロセス回路への駆動クロックの供給や電源の供給を停止させる手段を設けると、消費電力を低減させることができ、携帯用として好適な画像処理装置が得られる。

次に、最終段のイメージプロセス回路５−ｎの後段に配置されているＪＰＥＧ処理部６における処理単位について、図３に基づいて説明する。図３は一画面の画像データの左上部を切り取って示したものであるが、ＪＰＥＧ処理部ではＭＣＵ（ Minimum Coded Unit ）と呼ばれるブロック単位で圧縮、伸長等の処理が行われる。このＭＣＵの大きさとしては、ＪＰＥＧ処理の場合は通常８×８のブロック、あるいは８の整数倍のブロックが用いられる。そして、各ＭＣＵブロックにおいては矢印で示すように水平方向に順次データを読み出してＪＰＥＧ処理を行うようになっている。このようにＪＰＥＧ処理部ではブロック単位で処理が行われるので、このような処理に適したデータの流れを形成してやることが望ましい。

そこで、本発明においては、一旦フレームメモリ４に書き込んだ画像データをイメージプロセス回路部５へ入力するため、図４に示すような読み出し方を行う。すなわち、図４はフレームメモリに記憶されている１画面の画像データを表しているものであるが、本来画像データは行（COL)方向にスイープさせて書き込まれているが、これを列（ROW)方向に、ある一定の長さ（基本単位）11のデータだけを、繰り返し行方向へ読み出して行き、イメージプロセス回路部に画像データを入力する方式をとる。このような読み出し入力方式をとるのは、このような順序で読み出し入力された画像データを処理して行くと、最終段のイメージプロセス回路からＭＣＵブロックに相当する画像データが出てくるように処理することができるからである。

このように列方向にある一定長さのデータを繰り返し行方向へ読み出して、第１の行方向読み出し入力21を行い、次いで第２の行方向読み出し入力22を行うわけであるが、この際、次に述べるように第１の行方向読み出し入力21で読み出したデータを一部重複して読み出し入力する読み出し方を行う。その重複部分を12で示す。すなわち、イメージプロセス回路で空間的な画像処理を実行して行く場合、入力されたデータと出力されるデータとの間においてデータ数に不一致が生じる。例えば空間的フィルタ処理をする場合、出力したい処理データを得るためには、処理すべきデータの周囲の何点かのデータを用いて算出処理する必要があり、したがって出力データの他に周りの処理計算に要する余分のデータが必要となる。複数段のイメージプロセス処理を行う場合は、上記のような処理が連続的に行われるので、順次処理が行われると段々と入力されたデータより小さな領域のデータが出力されて行くことになる。

この態様の一例を図５に示す。この図示の態様は、ＪＰＥＧ処理部への入力ブロックＭＣＵを出力する最終段のイメージプロセス回路による画像処理を含め、３段の各イメージプロセス回路の出力を示す図である。つまり、最終的にＪＰＥＧ処理部へのＭＣＵブロックに必要なデータだけ残るように前段の各イメージプロセス回路の入力データ幅を設定してやることになる。なお、図５では、水平方向に４個のＭＣＵブロックを出力している場合の態様を示しており、31はフレームメモリの出力、32−１は初段イメージプロセス回路の出力、32−２は中間イメージプロセス回路の出力、32−３は最終段イメージプロセス回路の出力を示している。

このようにイメージプロセス回路で空間的な画像処理をする場合、処理上必要とされる周辺のデータ（のり代）を、出力されるべきデータに加えて入力させる必要があるため、図４に示した第１の行方向の処理データの読み出し入力21後の、次の第２の行方向の読み出し入力22は、処理上必要とされる周辺データ分、すなわち列方向のある一定長さ11のデータのうちの両端の処理上必要とされる出力データに付加されているデータ分を、第１の行方向入力と第２の行方向入力の空間的な画像処理を施して出力されるデータが隣接するように、重複させて読み出す必要がある。なお、行方向における処理上必要とされる周辺データは、各行方向読み出し入力の両端に付加されるだけである。

次に、実際に図４に示すようなデータ読み出し入力を実現する手法について説明する。図６はフレームメモリのRead／Wright態様を示す図で、フレームメモリへのＣＣＤ撮像素子からのデータの書き込み（Wright）は、図６の上部に示すように画像の走査方向に行われる。一方、フレームメモリからの読み出しは、図６の下部に示すような読み出し（Read）方を行う。これはフレームメモリとしてＳＤＲＡＭを用いた場合を想定しており、ＳＤＲＡＭにおいては特性上高速に読み出すためにバースト転送読み出しを行うようにしている。なお、図６の読み出し（Read）において、矢印の長さはバースト転送読み出しにおけるバースト長さを示している。

次に、フレームメモリ４から初段のイメージプロセス回路５−１へのデータ転送について図７に基づいて説明する。このデータ転送においては、バースト転送読み出しにより行方向に読み出したデータを縦（列）方向に並べ替えて、イメージプロセス回路５−１へ入力させる必要がある。そのため、バースト長×基本単位（図４に示した列方向のある一定長さ11のデータ）の容量をもつ２つの小さなメモリａ，ｂ（ダブルバッファ）を用意し、フレームメモリ４から読み出したデータをメモリａとメモリｂに切り替えて書き込むようにし、一方のメモリａにデータを書き込んでいるときに、他方のメモリｂの書き込まれているデータを図示のように列方向に読み出し、初段のイメージプロセス回路５−１へメモリ７−１を介して入力する。次に、フレームメモリ４から読み出したデータをメモリｂに書き込み、その書き込み中にメモリａに書き込まれているデータを列方向に読み出し、初段のイメージプロセス回路５−１へ入力する。以下同様に２つのメモリａ，ｂの切り替え動作を行って、図４に示すような各行方向の処理データのイメージプロセス回路への入力を実現するようにしている。

次に、最終段のイメージプロセス回路５−ｎからＪＰＥＧ処理部６への入力について説明する。この場合、イメージプロセス回路５−ｎから出力されるデータをＪＰＥＧ処理部６へ入力できるような形式に並び替える、つまりＭＣＵブロックを形成する手段を必要とする。この並べ替え動作は図８に示すように、図７に示した変換メモリと同様に、２つのメモリｃ及びメモリｄ（ダブルバッファ）を用い、イメージプロセス回路５−ｎから出力されたデータをメモリｃとメモリｄとに切り替えて交互に書き込むようにする。これらのメモリには通常８×８又は16×16構成のものが用いられる。最終段イメージプロセス回路５−ｎから出力されるデータは列方向の並びとなっているのに対し、ＪＰＥＧ処理部６で必要とする入力データは行方向の並びとなっているため、まず、メモリｃでイメージプロセス回路５−ｎからのデータを書き込んでいるとき、他方のメモリｄに書き込まれているデータを図示のように行方向に読み出し、ＪＰＥＧ処理部６へ入力する。次に、イメージプロセス回路５−ｎから読み出したデータをメモリｄに書き込み、メモリｃに書き込まれているデータを行方向に読み出し、ＪＰＥＧ処理部６へ入力する。これにより、メモリを８×８単位のラスタースキャン方式で読み出し、ＭＣＵブロック状のデータをＪＰＥＧ処理部６へ入力することができる。

次に、各イメージプロセス回路の前段に配置されている小容量のメモリ７−１，７−２，・・・・・７−ｎの構成例を、図９に基づいて説明する。この構成例は、イメージプロセス回路で空間的な画像処理を行うのに４×４のデータを必要とする場合のメモリを示している。この構成例のメモリは、４×４のメモリと、該メモリの第２，第３，第４列の列方向配列のメモリに接続されると共に互いに直列に接続された３つのラインメモリＬＭ１，ＬＭ２，ＬＭ３と、入力端と前記ラインメモリＬＭ１及び第１列の列方向配列のメモリとの間に、切り替え接続されるように配置された２つのバッファメモリＢuf１，Ｂuf２（ダブルバッファ）とで構成されており、バッファメモリ及びラインメモリの長さはいずれも前記基本単位の長さと等しく構成されている。

そして、フレームメモリ４あるいは前段のイメージプロセス回路から出力されるデータを、２つのバッファメモリＢuf１，Ｂuf２に交互に切り替えて入力し、書き込み済みのバッファメモリと３列のラインメモリＬＭ１，ＬＭ２，ＬＭ３を用いて４×４のメモリへデータを順次転送し、４×４のデータを下方へ順次ずらしながら得て、イメージプロセス回路へ入力するようになっている。

図10の（Ａ），（Ｂ）は、各イメージプロセス回路の前段に配置される小容量メモリの他の構成例を示す図である。この構成例は、当該イメージプロセス回路における画像処理に４×４の画素データを必要とする場合において前段に配置されるメモリの構成を示すもので、４列の独立メモリ部Ａ，Ｂ，Ｃ，Ｄとその他に１列の独立メモリ部Ｅの５列のメモリ部で構成されており、各列の独立メモリ部はそれぞれ、のり代分を含む基本単位分のデータを格納する容量をもっている。

そして、４列のメモリ部Ａ，Ｂ，Ｃ，Ｄに格納されている前段のイメージプロセス回路からの出力データのうち、４×４のデータを上から下へ順次読み出し、当該イメージプロセス回路で画像処理を順次行って出力し、その出力データを後段のメモリへ書き込むようになっている。図10の（Ｂ）は、図10の（Ａ）の状態から１クロック後の態様を示しており、４列の読み出しメモリ部Ａ〜Ｄのうちハッチングを施している領域が、４×４単位で読み出される領域を示している。そして、このようにして、４列の読み出しメモリ部Ａ〜Ｄよりデータを読み出して処理を行うと同時に、前段のイメージプロセス回路からの出力データを残りの１列のメモリ部Ｅに書き込み格納する。

４列の読み出しメモリ部Ａ〜Ｄからのデータを用いた処理が終了すると、次にメモリ部Ｂ〜Ｅに格納されているデータを用いて同様に４×４の処理を順次行う。この際、同様にメモリ部Ａに、新たに前段のイメージプロセス回路の次の列の基本単位に対応する出力データを書き込み格納する。このようにして、画像の全領域の処理を基本単位をもとにパイプライン的に実行させることができる。

次に、この発明に係る画像処理装置において実現する画像処理例について説明する。ここでは、イメージプロセスとしてＹＣ生成処理、ＬＰＦ処理、Ｃubic処理（拡大・縮小処理）の３つがある場合について説明する。この３つのイメージプロセスを行うためのイメージプロセス回路、すなわちＹＣ生成回路５ａ，ＬＰＦ処理回路５ｂ，Ｃubic処理回路５ｃを備えている場合でも種々の処理モードがあるが、図11は縮小記録処理モードのデータの流れを示す図である。この処理モードにおいては、３つのイメージプロセス回路を全て用い、まずＣＣＤ撮像素子からの信号に対してＹＣ生成処理を行って、縮小するため高域をカットする必要があるので、ＬＰＦ処理を行い、その後Ｃubic処理を行い次いでＪＰＥＧ処理をって記録する態様をとる。

上記縮小記録処理モードの場合は、全てのイメージプロセス回路で処理するようにしているが、等倍記録処理モードでは、図12に示すように、高域をカットするためのＬＰＦ処理及びリサイズするためのＣubic処理は不要なので、ＹＣ生成回路５ａを通したのち、ＬＰＦ処理回路５ｂ及びＣubic処理回路５ｃをバイパスして直接ＪＰＥＧ処理部６へ入力して処理を行うようにする。この場合、２つの処理が不要となり、その処理に要するのり代、すなわち出力データに加えられるべき処理に必要なデータが不要になり、ＹＣ生成処理に必要なのり代だけとなる。したがって、フレームメモリ４から読み出す際の基本単位の幅を、バイパスする２つの処理に必要なのり代分を差し引いて、つまりのり代を調整して設定し読み出すことになる。この基本単位の幅の制御はＣＰＵにより行われる。

図13は、拡大記録処理モードにおけるデータの流れを示す図である。拡大記録処理モードの場合には高域を取り除く処理が必要でないので、ＹＣ生成処理を行ったのちＬＰＦ処理をバイパスさせて直接Ｃubic処理を行い、ＪＰＥＧ処理を行って記録する。この場合は、ＬＰＦ処理に必要なのり代分を差し引いてフレームメモリからデータを入力させることになる。こののり代の制御もＣＰＵにより行われる。

図14は、ビデオアウト、ＬＣＤ表示、非圧縮記録処理モードにおけるデータの流れを示す図である。この処理モードは、全てのイメージプロセス回路を用いているので、フレームメモリからの入力時におけるのり代分の調整は必要ないが、ＪＰＥＧ処理部６を通さないで、すなわち圧縮させないで記録するモードである。なお、この処理モードにおいて、処理画像を記録せずに、ビデオアウト及びＬＣＤ表示としてのみ用いることができ、この場合はスルー処理モードとなる。

その他の処理としては、図15に示すＪＰＥＧ画像再生処理モードがある。この処理モードは、圧縮処理されて記録されているデータを再生するモードで、まず記録されているデータはＪＰＥＧ処理部６で伸長処理されてＬＰＦ処理回路５ｂへ入力され、ＬＰＦ処理されたのちＣubic処理を受けて出力されるようになっている。また図16は非圧縮画像を再生処理するモードにおけるデータの流れを示す図であり、このモードにおいては、非圧縮記録画像データはＬＰＦ処理を受けたのちＣubic処理を受けて出力されるようになっている。

なお、上記各イメージプロセス回路において、処理パラメータを適宜入力手段等により変更することができるように構成することができ、そして処理パラメータが変更された場合は、その変更に対応してＣＰＵの制御により基本単位の長さあるいはのり代分が適宜調整されるように構成する。

次に、小容量のメモリを介してパイプライン接続されているイメージプロセス回路の実行／停止制御について、図17に基づいて説明する。図17の（Ａ）は、３個のイメージプロセス回路５−１，５−２，５−３が小容量メモリ７−１，７−２，７−３を介して直列にパイプライン接続されている態様を示している。なお、図17の（Ａ）において、Ｂuf1a，Ｂuf1b，・・・Ｂuf3a，Ｂuf3b，は各小容量メモリ７−１，７−２，７−３における入力段に設けられている切り替え接続されるダブルバッファを示している。図17の（Ｂ）は、イメージプロセス回路５−２の実行／停止制御を中心にして説明するため、図17の（Ａ）に示した各イメージプロセス回路５−１，５−２，５−３及び小容量メモリ７−２，７−３における各ダブルバッファＢuf2a，Ｂuf2b，Ｂuf3a，Ｂuf3bの動作態様を示すタイミングチャートである。

各イメージプロセス回路は、前段に配置されている小容量メモリと後段に配置されている小容量メモリの状態をみて、当該イメージプロセス回路が動作を実行するか否かを決定するようになっている。具体的には、前段の小容量メモリのダブルバッファのいずれかに実行できるデータがあるか否かを確認して、更に後段の小容量メモリのダブルバッファのいずれかにデータを書き込めるスペースがあるか否かを確認して、処理動作を実行するか否かを判断する。

例えば、中間のイメージプロセス回路５−２において、最初の期間Ｔ₁ において処理動作が実行されているものとし、実行し終わった後Ｔ₂ において判断が行われる。この判断の際、前段のメモリ７−２のバッファＢuf2a，Ｂuf2bにおけるデータの有無が検出される。期間Ｔ₁ においてイメージプロセス回路５−１では処理が実行されているので、メモリ７−２のバッファＢuf2a，Ｂuf2bには何らかのデータが書き込まれており、したがって期間Ｔ₂ においてイメージプロセス回路５−２が処理を実行するためのデータは存在していることになる。また、イメージプロセス回路５−３は期間Ｔ₁ において処理が実行されているので、データが消費されており、メモリ７−３のバッファＢuf3a，Ｂuf3bには空きがあることが検出される。この２つの情報から当該イメージプロセス回路５−２は、期間Ｔ₃ で処理が実行できるものと判断し、処理の実行を行う。なお、図17の（Ｂ）で示している各処理ステップにおける実行の長さは、基本単位の長さ（のり代を含めた列方向の長さ）に対応するものであり、Ｄはバッファに利用可能データあり、ＮＤはバッファに利用可能データなし、Ｅはバッファに空きあり、Ｆはバッファに空きなしの状態をそれぞれ示している。

次に、期間Ｔ₃ においてイメージプロセス回路５−２において処理が実行されたときに、第３のイメージプロセス回路５−３が何らかの理由で処理の実行ができなかったとすると、メモリ７−３のバッファＢuf3a，Ｂuf3bには新たなデータを書き込むスペースがないことになる。この際、イメージプロセス回路５−１では処理が実行されているとすると、書き込むべきデータは存在するが、後段に書き込むスペースがない状態である。したがって、期間Ｔ₄ における判断においては、第２のイメージプロセス回路５−２の処理の実行は停止の判断が行われ、期間Ｔ₅ におけるイメージプロセス回路５−２の処理を停止する。以下同様に当該イメージプロセス回路の前後のメモリの状態の情報から判断を行い、画像処理の実行／停止の制御を行いながら、パイプライン処理が行われる。

なお、上記実施例では各イメージプロセス回路における画像処理に必要な周辺データ分を加えた基本単位として、所定の長さの１列分のデータを設定したものを示したが、基本単位としては所定の長さの１行分のデータを設定して処理することも可能である。

本発明に係る画像処理装置の実施例の概略構成を示すブロック構成図である。 図１におけるイメージプロセス回路部の具体的な構成を示すブロック構成図である。 ＪＰＥＧ処理部における処理単位を説明するための説明図である。 フレームメモリからイメージプロセス回路部への画像データの読み出し入力態様を説明するための説明図である。 複数段のイメージプロセス処理を行う場合における、各イメージプロセス回路部への入力画像データの態様を示す図である。 フレームメモリのRead／Wright態様を示す図である。 フレームメモリから初段のイメージプロセス回路へのデータ転送態様を示す図である。 最終段のイメージプロセス回路からＪＰＥＧ処理部へのデータ入力態様を示す図である。 各イメージプロセス回路の前段に配置されている小容量メモリの構成例を示す図である。 小容量メモリの他の構成例を示す図である。 縮小記録処理モード時における画像データの流れを示す図である。 等倍記録処理モード時における画像データの流れを示す図である。 拡大記録処理モード時における画像データの流れを示す図である。 ビデオアウト、ＬＣＤ表示、非圧縮記録処理モード時における画像データの流れを示す図である。 ＪＰＥＧ画像再生処理モード時における画像データの流れを示す図である。 非圧縮画像再生処理モード時における画像データの流れを示す図である。 イメージプロセス回路の実行／停止制御を説明するための説明図である。 一般的な電子的撮像装置における画像処理手順を示す説明図である。 従来の画像処理装置を示す概略ブロック構成図である。

符号の説明

１ バス
２ ＣＰＵ
３ プリプロセス回路
４ フレームメモリ
５ イメージプロセス回路部
５−１，・・・５−ｎ イメージプロセス回路
６ ＪＰＥＧ処理部
７−１，・・・７−ｎ メモリ
11 基本単位
12 重複部分（のり代）
21 第１の行方向読み出し入力
22 第２の行方向読み出し入力
31 フレームメモリの出力
32−１ 初段イメージプロセス回路の出力
32−２ 中間イメージプロセス回路の出力
32−３ 最終段イメージプロセス回路の出力

Claims (7)

1. フレームメモリに記録された画像データに空間的な画像処理を施す処理部を含む、複数段の直列に接続された画像処理部と、
   前記フレームメモリに記録された画像データから、（行方向のデータ長）×（前記画像処理部の出力として得られるデータに対して前記複数段の画像処理に要する周辺データを付加した列方向のデータ長）を繰り返し連続して前記画像処理部の初段に入力するデータ入力手段と、
   複数段の空間的な画像処理を行う前記画像処理部の一部をバイパスさせるバイパス手段と、
   該バイパス手段により一部の画像処理部をバイパスさせた際、バイパスされた画像処理部において処理に必要とされる該画像処理部の出力データに加えられる周辺データ分を、該バイパスされた画像処理部の前段の画像処理部における処理画像データの基本単位から減じるように基本単位を調整する調整手段と、
   を備えていることを特徴とする画像処理装置。
2. 前記画像処理部の処理パラメータを変更する処理パラメータ変更手段と、該処理パラメータ変更手段による画像処理部の処理パラメータの変更に対応して、該画像処理部における処理に必要な周辺データを処理出力データに加えた一定数の列方向データからなる基本単位又は前記処理に必要な周辺データが変更されたとき、その変更分を処理パラメータの変更された画像処理部の前段の画像処理部における基本単位のデータから増減させる手段を備えていることを特徴とする請求項１に係る画像処理装置。
3. 画像圧縮部を更に有し、前記画像処理部の最終段と前記画像圧縮部との間に、ＭＣＵサイズのデータを扱うバッファメモリを備え、該バッファメモリは８×８単位のラスタースキャン方式で読み出されるように構成されていることを特徴とする請求項１に係る画像処理装置。
4. 前記画像処理部の最終段に、ＪＰＥＧ処理部を接続したことを特徴とする請求項３に係る画像処理装置。
5. 前記画像処理部として、少なくともＹＣ生成処理部、ＬＰＦ処理部、拡大縮小処理部のいずれかを備え、画像処理モードとして少なくとも等倍画像記録処理モード、拡大記録処理モード、縮小記録処理モード、非圧縮記録処理モード、圧縮記録画像再生処理モード、非圧縮記録画像再生処理モード、スルー処理モードのいずれかを選択的に設定する手段と、該画像処理モード設定手段で設定された画像処理モードに応じて処理不要となる所定の画像処理部をバイパスさせる手段とを備えていることを特徴とする請求項３に係る画像処理装置。
6. 前記複数段の画像処理部を駆動するためのクロックを供給するクロック供給部と、前記バイパス手段によりバイパスさせられた前記画像処理部へのクロック供給部からのクロック供給又は電源供給を停止する手段を備えていることを特徴とする請求項１に係る画像処理装置。
7. 前記複数段の画像処理部の前段及び後段に設けられたメモリと、前記複数段の画像処理部の前段のメモリに実行可能なデータがあるか否かを判断し、更に後段のメモリ中に空きがあるか否かを判断することにより当該画像処理部の処理動作の実行／停止を制御する手段を備え、当該画像処理部の処理の実行をのりしろを含めた列方向のデータ長さに対応したデータ長で行うようになされたことを特徴とする請求項１に係る画像処理装置。

Images