JP4179701B2

JP4179701B2 - 画像処理装置

Info

Publication number: JP4179701B2
Application number: JP12092099A
Authority: JP
Inventors: 晃上野; 啓介中薗
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1999-04-28
Filing date: 1999-04-28
Publication date: 2008-11-12
Anticipated expiration: 2019-04-28
Also published as: JP2000312327A

Description

【０００１】
【発明の属する技術分野】
この発明は、ディジタルカメラ等の電子的撮像装置に用いられる画像処理装置に関する。
【０００２】
【従来の技術】
一般に、ＣＣＤなどの固体撮像素子を用いたディジタルカメラ等の電子的撮像装置における画像処理の手順としては、図18に示すように、まずＣＣＤ撮像素子101 から出力された撮像信号はプリプロセス処理102 がなされたのち、フレームメモリ103 に一旦記憶される。次いで、フレームメモリ103 から画像データを読み出し、複数のイメージプロセス処理104-１〜104-ｎを順次行い、最後にＪＰＥＧ処理105 を行って、メモリカード106 等の記録媒体に記録するという処理がなされている。
【０００３】
このような画像信号の処理手順を実現するにあたって、従来は例えば図19に示すような画像処理装置を用いている。すなわち、従来の画像処理装置は、バス201 にＣＰＵ202 と共にプリプロセス回路203 ，複数のイメージプロセス回路204-１〜204-ｎ，ＪＰＥＧ処理部205 及びフレームメモリ206 がそれぞれ接続されて構成されている。そして、ＣＰＵ202 の制御により、ＣＣＤ撮像素子からの撮像信号がプリプロセス回路203 で処理されたのちバス201 を通してフレームメモリ206 に一旦記録される。次に、フレームメモリ206 から画像データを読み出し、バス201 を通してイメージプロセス回路204-１に入力して処理を行い、再びバス201 を通してフレームメモリ206 に書き直す。以下同様にして、バス201 を介してフレームメモリ206 とイメージプロセス回路204-２〜204-ｎとの間でデータのやり取りを順次行って、最後にＪＰＥＧ処理部205 でＪＰＥＧ処理を行い、処理データをフレームメモリ206 又はメモリカードに記録するようになっている。
【０００４】
【発明が解決しようとする課題】
従来の画像処理装置は、上記のように複数のイメージプロセス回路による画像処理はそれぞれバスを通してフレームメモリからデータを読み出しあるいは書き込みを行って実行されるようになっている。したがって、実時間処理を行う場合には、バスを通るデータ転送量が極めて多く、処理時間と共に消費電力が増大するという問題点がある。
【０００５】
本発明は、従来の画像処理装置における上記問題点を解消するためになされたもので、バスのデータ転送量を低減すると共にメモリ容量を増やすことなく複数の画像処理ができるようにした画像処理装置を提供することを目的とする。
【０００６】
請求項毎の目的を述べると、次のとおりである。すなわち、請求項１に係る発明は、データ転送量を低減し、且つ連続的に処理できるようにした画像処理装置を提供することを目的とする。請求項２に係る発明は、複数の画像処理部において連続して画像処理を実行することが可能な画像処理装置を提供することを目的とする。請求項３に係る発明は、画像の全画面に亘って画像処理に必要とするデータを含めたデータを、転送データ量を低減しながら入力させることが可能な画像処理装置を提供することを目的とする。請求項４に係る発明は、処理に必要な周辺データを処理データに加えた一定数の列方向データを基本単位とする画像処理部への入力データを、ＳＤＲＡＭ等からなるフレームメモリから容易に得ることができるようにした画像処理装置を提供することを目的とする。
【０００７】
また、請求項５に係る発明は、画像処理された画像データを圧縮又は記録された圧縮画像データを伸長処理することが可能で、後段にブロック単位で画像処理を行うＪＰＥＧ処理部を配設した場合においても、前段の画像処理部の画像データを直接印加できるようにした画像処理装置を提供することを目的とする。請求項６に係る発明は、等倍画像記録処理モード、画像サイズ拡大記録処理モード、画像サイズ縮小記録処理モード、非圧縮記録処理モード、ＪＰＥＧ圧縮画像再生処理モード、非圧縮画像再生処理モード、スルー処理モードの各画像処理を容易に選択実行でき、また処理時間を短縮させることの可能な画像処理装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、固体撮像素子から出力されて生成された画像データをフレームメモリに記憶する書き込み手段と、前記フレームメモリに記憶された画像データに空間的な画像処理を施す処理部を含む画像処理部と、前記フレームメモリに記憶された画像データから、（行方向のデータ長）×（前記画像処理部の出力として得られるデータに対して前記画像処理に要する周辺データを付加した列方向のデータ長）のデータを繰り返し行方向に連続して読み出す読み出し手段と、前記読み出し手段で読み出されたデータを格納し、データの方向を並び替えるための並び替え用メモリと、前記並び替え用メモリで列方向に並び替えられたデータを行方向に連続して前記画像処理部へ入力する入力手段と、を有して画像処理装置を構成するものである。
【０００９】
このように、フレームメモリに記憶された画像データから、（行方向のデータ長）×（前記画像処理部の出力として得られるデータに対して前記画像処理に要する周辺データを付加した列方向のデータ長）のデータを繰り返し行方向に連続して読み出す読み出し手段と、前記読み出し手段で読み出されたデータを格納し、データの方向を並び替えるための並び替え用メモリと、前記並び替え用メモリで列方向に並び替えられたデータを行方向に連続して前記画像処理部へ入力する入力手段とを設けることにより、行方向の画像処理に必要とされる加えるべき周辺データ分を必要とせず、したがって転送データ量が低減され、且つ連続して画像処理することが可能となる。
【００１０】
請求項２に係る発明は、請求項１に係る画像処理装置において、前記画像処理部は、前記入力手段によって入力された前記画像処理に要する周辺データを付加した列方向のデータ長からなる画像データを画像処理し、この画像処理によって列方向に周辺データ分小さくなった画像データを連続して行方向に出力するように構成されていることを特徴とするものである。このように各画像処理部を構成することにより、各画像処理部において連続的に画像処理を実行することができる。
【００１１】
請求項３に係る発明は、請求項１に係る画像処理装置において、第１の行方向データ入力においては、前記入力手段により前記列方向に並び替えられたデータを画像の上端隅部から順次行方向へ移動させて画像の他方の端部位置に達するまでデータ入力を行い、第２の行方向データ入力においては、前記第１の行方向データ入力によって画像処理されて出力されるデータと、該第２の行方向入力によって画像処理されて出力されるデータとが隣接するように、前記第１の行方向データ入力と列方向に一部重複させてデータを読み出し順次行方向へ移動させて画像の他方の端部位置に達するまで入力を行い、以下同様にして第３の行方向データ入力以降のデータ入力を行うように制御するデータ入力制御手段を備えていることを特徴とするものである。このようなデータ入力制御手段を備えることにより、行方向に加えるべき処理に必要とする周辺データ分の転送もそのデータを処理するための１回だけとなり、したがってデータ転送量を低減させることができ、また列方向データは周辺データ分を重複させて入力させるようにしているので、画像の全画面に亘って画像処理に必要とするデータを含めた画像データを入力させることができる。
【００１２】
請求項４に係る発明は、請求項１に係る画像処理装置において、前記読み出し手段は、（行方向のバースト長分）×（前記画像処理に要する周辺データを付加した列方向のデータ長）のデータを繰り返し行方向に連続して読み出すことを特徴とするものである。読み出し手段で読み出されるデータを、このような構成のデータとすることにより、ＳＤＲＡＭ等からなるフレームメモリから画像処理部へ所定の基本単位の入力データを効率よく入力させることができる。
【００１３】
請求項５に係る発明は、請求項２に係る画像処理装置において、前記画像処理部からＭＣＵブロックサイズのデータを行方向に連続して出力し、前記画像処理部の後段に、前記出力されたＭＣＵサイズのデータを記憶するバッファメモリと、該バッファメモリのデータを読み出すバッファメモリ読み出し手段と、前記バッファメモリの出力を入力するＪＰＥＧ処理部とを更に有することを特徴とするものである。このように後段に上記構成のバッファメモリと、バッファメモリ読み出し手段と、バッファメモリの出力を入力するＪＰＥＧ処理部を設けることにより、画像処理データを圧縮して記録し又は圧縮記録した画像データを伸長処理することができ、後段にＪＰＥＧ処理部を接続した場合においても前段の画像処理部の画像データを直接印加可能となる。
【００１４】
請求項６に係る発明は、請求項１に係る画像処理装置において、前記画像処理部は複数段の画像処理部からなり、この画像処理部として、少なくともＹＣ生成処理部、ＬＰＦ処理部、拡大縮小処理部のいずれかの処理部を備え、画像処理モードとして少なくとも等倍画像記録処理モード、拡大記録処理モード、縮小記録処理モード、非圧縮記録処理モード、圧縮記録画像再生処理モード、非圧縮記録画像再生処理モード、スルー処理モードのいずれかのモードを選択的に設定する手段と、該画像処理モード設定手段で設定された画像処理モードに応じて処理不要となる所定の画像処理部をバイパスさせる手段とを備えていることを特徴とするものである。このように構成することにより、各種処理モードを設定し、容易に実行することが可能となり、また設定された画像処理モードに応じて画像処理部をバイパスさせる手段を備えることにより、処理時間を短縮させることが可能となる。
【００１５】
【発明の実施の形態】
次に実施の形態について説明する。まず、本発明に係る概略的な実施の形態を図１に基づいて説明する。本発明に係る画像処理装置において、バス１に接続された各部の制御を行うＣＰＵ２の制御により、ＣＣＤ撮像素子からの撮像信号をプリプロセス回路３で処理した信号を、バス１を介してフレームメモリ４へ一旦記憶し、次いでフレームメモリ４から読み出した画像データをバス１を介して、イメージプロセス回路部５の初段のイメージプロセス回路５−１に入力し処理させるまでは、従来の画像処理装置と同じである。本発明に係る画像処理装置においては、初段のイメージプロセス回路５−１からｎ段目のイメージプロセス回路５−ｎまで直列に接続しておいて、パイプライン方式で画像処理を行い、ＪＰＥＧ処理部６でＪＰＥＧ処理を行ったのち、画像データをバス１を介してフレームメモリ４やメモリカード等に記録するようになっている。
【００１６】
このようにバス１を介したデータ転送量は、フレームメモリ４から初段のイメージプロセス回路５−１への転送と、ＪＰＥＧ処理部６からフレームメモリ４又はメモリカードへの転送だけとなり、したがってフレームメモリと各イメージプロセス回路との間でデータのやりとりを行っていた従来例と比べて、データ転送量はかなり低減させることができる。
【００１７】
次に、初段のイメージプロセス回路５−１からｎ段目のイメージプロセス回路５−ｎで構成されるイメージプロセス回路部５の具体的な構成を、図２に基づいて説明する。各イメージプロセス回路５−１〜５−ｎの前段にはパイプラインレジスタとして、小容量のメモリ７−１，７−２，・・・・・７−ｎが配置されていて、該メモリ７−１，７−２，・・・・・７−ｎを介して、各イメージプロセス回路５−１〜５−ｎがパイプライン処理動作をして行くように構成されている。これらの小容量のメモリ７−１，７−２，・・・・・７−ｎは、各イメージプロセス回路５−１，５−２，・・・・・５−ｎで空間的な画像処理を行う場合、画像処理に必要な周辺データの記憶をするために、また画像データをブロック単位で読み出して配列換えなどを行って処理する必要があるために、設けられているものである。そして、所望の画像処理によっては、一部のイメージプロセス回路をバイパスして後段のイメージプロセス回路にデータを入力して処理を行うという考慮もなされている。図２では、２段目のイメージプロセス回路５−２から（ｎ−１）段目のイメージプロセス回路５−（ｎ−１）までバイパスしている例を示している。
【００１８】
なお、このように処理不要のイメージプロセス回路をバイパスさせるための信号経路の切り替えは、図示しない処理モードの設定手段などの設定に応じてＣＰＵの制御により行われるようにし、また処理不要のイメージプロセス回路をバイパスさせたとき、そのイメージプロセス回路への駆動クロックの供給や電源の供給を停止させる手段を設けると、消費電力を低減させることができ、携帯用として好適な画像処理装置が得られる。
【００１９】
次に、最終段のイメージプロセス回路５−ｎの後段に配置されているＪＰＥＧ処理部６における処理単位について、図３に基づいて説明する。図３は一画面の画像データの左上部を切り取って示したものであるが、ＪＰＥＧ処理部ではＭＣＵ（ Minimum Coded Unit ）と呼ばれるブロック単位で圧縮、伸長等の処理が行われる。このＭＣＵの大きさとしては、ＪＰＥＧ処理の場合は通常８×８のブロック、あるいは８の整数倍のブロックが用いられる。そして、各ＭＣＵブロックにおいては矢印で示すように水平方向に順次データを読み出してＪＰＥＧ処理を行うようになっている。このようにＪＰＥＧ処理部ではブロック単位で処理が行われるので、このような処理に適したデータの流れを形成してやることが望ましい。
【００２０】
そこで、本発明においては、一旦フレームメモリ４に書き込んだ画像データをイメージプロセス回路部５へ入力するため、図４に示すような読み出し方を行う。すなわち、図４はフレームメモリに記憶されている１画面の画像データを表しているものであるが、本来画像データは行（COL)方向にスイープさせて書き込まれているが、これを列（ROW)方向に、ある一定の長さ（基本単位）11のデータだけを、繰り返し行方向へ読み出して行き、イメージプロセス回路部に画像データを入力する方式をとる。このような読み出し入力方式をとるのは、このような順序で読み出し入力された画像データを処理して行くと、最終段のイメージプロセス回路からＭＣＵブロックに相当する画像データが出てくるように処理することができるからである。
【００２１】
このように列方向にある一定長さのデータを繰り返し行方向へ読み出して、第１の行方向読み出し入力21を行い、次いで第２の行方向読み出し入力22を行うわけであるが、この際、次に述べるように第１の行方向読み出し入力21で読み出したデータを一部重複して読み出し入力する読み出し方を行う。その重複部分を12で示す。すなわち、イメージプロセス回路で空間的な画像処理を実行して行く場合、入力されたデータと出力されるデータとの間においてデータ数に不一致が生じる。例えば空間的フィルタ処理をする場合、出力したい処理データを得るためには、処理すべきデータの周囲の何点かのデータを用いて算出処理する必要があり、したがって出力データの他に周りの処理計算に要する余分のデータが必要となる。複数段のイメージプロセス処理を行う場合は、上記のような処理が連続的に行われるので、順次処理が行われると段々と入力されたデータより小さな領域のデータが出力されて行くことになる。
【００２２】
この態様の一例を図５に示す。この図示の態様は、ＪＰＥＧ処理部への入力ブロックＭＣＵを出力する最終段のイメージプロセス回路による画像処理を含め、３段の各イメージプロセス回路の出力を示す図である。つまり、最終的にＪＰＥＧ処理部へのＭＣＵブロックに必要なデータだけ残るように前段の各イメージプロセス回路の入力データ幅を設定してやることになる。なお、図５では、水平方向に４個のＭＣＵブロックを出力している場合の態様を示しており、31はフレームメモリの出力、32−１は初段イメージプロセス回路の出力、32−２は中間イメージプロセス回路の出力、32−３は最終段イメージプロセス回路の出力を示している。
【００２３】
このようにイメージプロセス回路で空間的な画像処理をする場合、処理上必要とされる周辺のデータ（のり代）を、出力されるべきデータに加えて入力させる必要があるため、図４に示した第１の行方向の処理データの読み出し入力21後の、次の第２の行方向の読み出し入力22は、処理上必要とされる周辺データ分、すなわち列方向のある一定長さ11のデータのうちの両端の処理上必要とされる出力データに付加されているデータ分を、第１の行方向入力と第２の行方向入力の空間的な画像処理を施して出力されるデータが隣接するように、重複させて読み出す必要がある。なお、行方向における処理上必要とされる周辺データは、各行方向読み出し入力の両端に付加されるだけである。
【００２４】
次に、実際に図４に示すようなデータ読み出し入力を実現する手法について説明する。図６はフレームメモリのRead／Wright態様を示す図で、フレームメモリへのＣＣＤ撮像素子からのデータの書き込み（Wright）は、図６の上部に示すように画像の走査方向に行われる。一方、フレームメモリからの読み出しは、図６の下部に示すような読み出し（Read）方を行う。これはフレームメモリとしてＳＤＲＡＭを用いた場合を想定しており、ＳＤＲＡＭにおいては特性上高速に読み出すためにバースト転送読み出しを行うようにしている。なお、図６の読み出し（Read）において、矢印の長さはバースト転送読み出しにおけるバースト長さを示している。
【００２５】
次に、フレームメモリ４から初段のイメージプロセス回路５−１へのデータ転送について図７に基づいて説明する。このデータ転送においては、バースト転送読み出しにより行方向に読み出したデータを縦（列）方向に並べ替えて、イメージプロセス回路５−１へ入力させる必要がある。そのため、バースト長×基本単位（図４に示した列方向のある一定長さ11のデータ）の容量をもつ２つの小さなメモリａ，ｂ（ダブルバッファ）を用意し、フレームメモリ４から読み出したデータをメモリａとメモリｂに切り替えて書き込むようにし、一方のメモリａにデータを書き込んでいるときに、他方のメモリｂの書き込まれているデータを図示のように列方向に読み出し、初段のイメージプロセス回路５−１へメモリ７−１を介して入力する。次に、フレームメモリ４から読み出したデータをメモリｂに書き込み、その書き込み中にメモリａに書き込まれているデータを列方向に読み出し、初段のイメージプロセス回路５−１へ入力する。以下同様に２つのメモリａ，ｂの切り替え動作を行って、図４に示すような各行方向の処理データのイメージプロセス回路への入力を実現するようにしている。
【００２６】
次に、最終段のイメージプロセス回路５−ｎからＪＰＥＧ処理部６への入力について説明する。この場合、イメージプロセス回路５−ｎから出力されるデータをＪＰＥＧ処理部６へ入力できるような形式に並び替える、つまりＭＣＵブロックを形成する手段を必要とする。この並べ替え動作は図８に示すように、図７に示した変換メモリと同様に、２つのメモリｃ及びメモリｄ（ダブルバッファ）を用い、イメージプロセス回路５−ｎから出力されたデータをメモリｃとメモリｄとに切り替えて交互に書き込むようにする。これらのメモリには通常８×８又は16×16構成のものが用いられる。最終段イメージプロセス回路５−ｎから出力されるデータは列方向の並びとなっているのに対し、ＪＰＥＧ処理部６で必要とする入力データは行方向の並びとなっているため、まず、メモリｃでイメージプロセス回路５−ｎからのデータを書き込んでいるとき、他方のメモリｄに書き込まれているデータを図示のように行方向に読み出し、ＪＰＥＧ処理部６へ入力する。次に、イメージプロセス回路５−ｎから読み出したデータをメモリｄに書き込み、メモリｃに書き込まれているデータを行方向に読み出し、ＪＰＥＧ処理部６へ入力する。これにより、メモリを８×８単位のラスタースキャン方式で読み出し、ＭＣＵブロック状のデータをＪＰＥＧ処理部６へ入力することができる。
【００２７】
次に、各イメージプロセス回路の前段に配置されている小容量のメモリ７−１，７−２，・・・・・７−ｎの構成例を、図９に基づいて説明する。この構成例は、イメージプロセス回路で空間的な画像処理を行うのに４×４のデータを必要とする場合のメモリを示している。この構成例のメモリは、４×４のメモリと、該メモリの第２，第３，第４列の列方向配列のメモリに接続されると共に互いに直列に接続された３つのラインメモリＬＭ１，ＬＭ２，ＬＭ３と、入力端と前記ラインメモリＬＭ１及び第１列の列方向配列のメモリとの間に、切り替え接続されるように配置された２つのバッファメモリＢuf１，Ｂuf２（ダブルバッファ）とで構成されており、バッファメモリ及びラインメモリの長さはいずれも前記基本単位の長さと等しく構成されている。
【００２８】
そして、フレームメモリ４あるいは前段のイメージプロセス回路から出力されるデータを、２つのバッファメモリＢuf１，Ｂuf２に交互に切り替えて入力し、書き込み済みのバッファメモリと３列のラインメモリＬＭ１，ＬＭ２，ＬＭ３を用いて４×４のメモリへデータを順次転送し、４×４のデータを下方へ順次ずらしながら得て、イメージプロセス回路へ入力するようになっている。
【００２９】
図10の（Ａ），（Ｂ）は、各イメージプロセス回路の前段に配置される小容量メモリの他の構成例を示す図である。この構成例は、当該イメージプロセス回路における画像処理に４×４の画素データを必要とする場合において前段に配置されるメモリの構成を示すもので、４列の独立メモリ部Ａ，Ｂ，Ｃ，Ｄとその他に１列の独立メモリ部Ｅの５列のメモリ部で構成されており、各列の独立メモリ部はそれぞれ、のり代分を含む基本単位分のデータを格納する容量をもっている。
【００３０】
そして、４列のメモリ部Ａ，Ｂ，Ｃ，Ｄに格納されている前段のイメージプロセス回路からの出力データのうち、４×４のデータを上から下へ順次読み出し、当該イメージプロセス回路で画像処理を順次行って出力し、その出力データを後段のメモリへ書き込むようになっている。図10の（Ｂ）は、図10の（Ａ）の状態から１クロック後の態様を示しており、４列の読み出しメモリ部Ａ〜Ｄのうちハッチングを施している領域が、４×４単位で読み出される領域を示している。そして、このようにして、４列の読み出しメモリ部Ａ〜Ｄよりデータを読み出して処理を行うと同時に、前段のイメージプロセス回路からの出力データを残りの１列のメモリ部Ｅに書き込み格納する。
【００３１】
４列の読み出しメモリ部Ａ〜Ｄからのデータを用いた処理が終了すると、次にメモリ部Ｂ〜Ｅに格納されているデータを用いて同様に４×４の処理を順次行う。この際、同様にメモリ部Ａに、新たに前段のイメージプロセス回路の次の列の基本単位に対応する出力データを書き込み格納する。このようにして、画像の全領域の処理を基本単位をもとにパイプライン的に実行させることができる。
【００３２】
次に、この発明に係る画像処理装置において実現する画像処理例について説明する。ここでは、イメージプロセスとしてＹＣ生成処理、ＬＰＦ処理、Ｃubic処理（拡大・縮小処理）の３つがある場合について説明する。この３つのイメージプロセスを行うためのイメージプロセス回路、すなわちＹＣ生成回路５ａ，ＬＰＦ処理回路５ｂ，Ｃubic処理回路５ｃを備えている場合でも種々の処理モードがあるが、図11は縮小記録処理モードのデータの流れを示す図である。この処理モードにおいては、３つのイメージプロセス回路を全て用い、まずＣＣＤ撮像素子からの信号に対してＹＣ生成処理を行って、縮小するため高域をカットする必要があるので、ＬＰＦ処理を行い、その後Ｃubic処理を行い次いでＪＰＥＧ処理をって記録する態様をとる。
【００３３】
上記縮小記録処理モードの場合は、全てのイメージプロセス回路で処理するようにしているが、等倍記録処理モードでは、図12に示すように、高域をカットするためのＬＰＦ処理及びリサイズするためのＣubic処理は不要なので、ＹＣ生成回路５ａを通したのち、ＬＰＦ処理回路５ｂ及びＣubic処理回路５ｃをバイパスして直接ＪＰＥＧ処理部６へ入力して処理を行うようにする。この場合、２つの処理が不要となり、その処理に要するのり代、すなわち出力データに加えられるべき処理に必要なデータが不要になり、ＹＣ生成処理に必要なのり代だけとなる。したがって、フレームメモリ４から読み出す際の基本単位の幅を、バイパスする２つの処理に必要なのり代分を差し引いて、つまりのり代を調整して設定し読み出すことになる。この基本単位の幅の制御はＣＰＵにより行われる。
【００３４】
図13は、拡大記録処理モードにおけるデータの流れを示す図である。拡大記録処理モードの場合には高域を取り除く処理が必要でないので、ＹＣ生成処理を行ったのちＬＰＦ処理をバイパスさせて直接Ｃubic処理を行い、ＪＰＥＧ処理を行って記録する。この場合は、ＬＰＦ処理に必要なのり代分を差し引いてフレームメモリからデータを入力させることになる。こののり代の制御もＣＰＵにより行われる。
【００３５】
図14は、ビデオアウト、ＬＣＤ表示、非圧縮記録処理モードにおけるデータの流れを示す図である。この処理モードは、全てのイメージプロセス回路を用いているので、フレームメモリからの入力時におけるのり代分の調整は必要ないが、ＪＰＥＧ処理部６を通さないで、すなわち圧縮させないで記録するモードである。なお、この処理モードにおいて、処理画像を記録せずに、ビデオアウト及びＬＣＤ表示としてのみ用いることができ、この場合はスルー処理モードとなる。
【００３６】
その他の処理としては、図15に示すＪＰＥＧ画像再生処理モードがある。この処理モードは、圧縮処理されて記録されているデータを再生するモードで、まず記録されているデータはＪＰＥＧ処理部６で伸長処理されてＬＰＦ処理回路５ｂへ入力され、ＬＰＦ処理されたのちＣubic処理を受けて出力されるようになっている。また図16は非圧縮画像を再生処理するモードにおけるデータの流れを示す図であり、このモードにおいては、非圧縮記録画像データはＬＰＦ処理を受けたのちＣubic処理を受けて出力されるようになっている。
【００３７】
なお、上記各イメージプロセス回路において、処理パラメータを適宜入力手段等により変更することができるように構成することができ、そして処理パラメータが変更された場合は、その変更に対応してＣＰＵの制御により基本単位の長さあるいはのり代分が適宜調整されるように構成する。
【００３８】
次に、小容量のメモリを介してパイプライン接続されているイメージプロセス回路の実行／停止制御について、図17に基づいて説明する。図17の（Ａ）は、３個のイメージプロセス回路５−１，５−２，５−３が小容量メモリ７−１，７−２，７−３を介して直列にパイプライン接続されている態様を示している。なお、図17の（Ａ）において、Ｂuf1a，Ｂuf1b，・・・Ｂuf3a，Ｂuf3b，は各小容量メモリ７−１，７−２，７−３における入力段に設けられている切り替え接続されるダブルバッファを示している。図17の（Ｂ）は、イメージプロセス回路５−２の実行／停止制御を中心にして説明するため、図17の（Ａ）に示した各イメージプロセス回路５−１，５−２，５−３及び小容量メモリ７−２，７−３における各ダブルバッファＢuf2a，Ｂuf2b，Ｂuf3a，Ｂuf3bの動作態様を示すタイミングチャートである。
【００３９】
各イメージプロセス回路は、前段に配置されている小容量メモリと後段に配置されている小容量メモリの状態をみて、当該イメージプロセス回路が動作を実行するか否かを決定するようになっている。具体的には、前段の小容量メモリのダブルバッファのいずれかに実行できるデータがあるか否かを確認して、更に後段の小容量メモリのダブルバッファのいずれかにデータを書き込めるスペースがあるか否かを確認して、処理動作を実行するか否かを判断する。
【００４０】
例えば、中間のイメージプロセス回路５−２において、最初の期間Ｔ₁において処理動作が実行されているものとし、実行し終わった後Ｔ₂において判断が行われる。この判断の際、前段のメモリ７−２のバッファＢuf2a，Ｂuf2bにおけるデータの有無が検出される。期間Ｔ₁においてイメージプロセス回路５−１では処理が実行されているので、メモリ７−２のバッファＢuf2a，Ｂuf2bには何らかのデータが書き込まれており、したがって期間Ｔ₂においてイメージプロセス回路５−２が処理を実行するためのデータは存在していることになる。また、イメージプロセス回路５−３は期間Ｔ₁において処理が実行されているので、データが消費されており、メモリ７−３のバッファＢuf3a，Ｂuf3bには空きがあることが検出される。この２つの情報から当該イメージプロセス回路５−２は、期間Ｔ₃で処理が実行できるものと判断し、処理の実行を行う。なお、図17の（Ｂ）で示している各処理ステップにおける実行の長さは、基本単位の長さ（のり代を含めた列方向の長さ）に対応するものであり、Ｄはバッファに利用可能データあり、ＮＤはバッファに利用可能データなし、Ｅはバッファに空きあり、Ｆはバッファに空きなしの状態をそれぞれ示している。
【００４１】
次に、期間Ｔ₃においてイメージプロセス回路５−２において処理が実行されたときに、第３のイメージプロセス回路５−３が何らかの理由で処理の実行ができなかったとすると、メモリ７−３のバッファＢuf3a，Ｂuf3bには新たなデータを書き込むスペースがないことになる。この際、イメージプロセス回路５−１では処理が実行されているとすると、書き込むべきデータは存在するが、後段に書き込むスペースがない状態である。したがって、期間Ｔ₄における判断においては、第２のイメージプロセス回路５−２の処理の実行は停止の判断が行われ、期間Ｔ₅におけるイメージプロセス回路５−２の処理を停止する。以下同様に当該イメージプロセス回路の前後のメモリの状態の情報から判断を行い、画像処理の実行／停止の制御を行いながら、パイプライン処理が行われる。
【００４２】
なお、上記実施の形態では各イメージプロセス回路における画像処理に必要な周辺データ分を加えた基本単位として、所定の長さの１列分のデータを設定したものを示したが、基本単位としては所定の長さの１行分のデータを設定して処理することも可能である。
【００４３】
【発明の効果】
以上実施の形態に基づいて説明したように、本発明によれば、バスのデータ転送量を低減すると共にメモリ容量を増やすことなく複数の画像処理を行うことができる画像処理装置を実現することができる。請求項毎の効果を述べると、請求項１に係る発明によれば、データ転送量を低減し連続して処理を行うことが可能な画像処理装置を実現することができる。請求項２に係る発明によれば、複数の画像処理部において連続して画像処理を実行することが可能な画像処理装置を実現することができる。請求項３に係る発明によれば、画像の全画面に亘って画像処理に必要とするデータを含めたデータを、転送データ量を低減しながら入力させることが可能な画像処理装置を実現することができる。請求項４に係る発明によれば、処理に必要な周辺データを処理データに加えた一定数の列方向データを基本単位とする画像処理部への入力データを、ＳＤＲＡＭ等からなるフレームメモリから容易に効率よく得ることができる。
【００４４】
また請求項５に係る発明によれば、画像処理データを圧縮して記録し、圧縮記録した画像データを伸長処理することが可能となり、後段にブロック単位で画像処理を行うＪＰＥＧ処理部を配設した場合においても、前段の画像処理部の画像データを直接印加することが可能となる。請求項６に係る発明によれば、等倍画像記録処理モード、画像サイズ拡大記録処理モード、画像サイズ縮小記録処理モード、スルー処理モード、非圧縮記録処理モード、圧縮記録画像再生処理モード、非圧縮記録画像再生処理モードの各画像処理を容易に選択的に実行することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の実施の形態の概略構成を示すブロック構成図である。
【図２】図１におけるイメージプロセス回路部の具体的な構成を示すブロック構成図である。
【図３】ＪＰＥＧ処理部における処理単位を説明するための説明図である。
【図４】フレームメモリからイメージプロセス回路部への画像データの読み出し入力態様を説明するための説明図である。
【図５】複数段のイメージプロセス処理を行う場合における、各イメージプロセス回路部への入力画像データの態様を示す図である。
【図６】フレームメモリのRead／Wright態様を示す図である。
【図７】フレームメモリから初段のイメージプロセス回路へのデータ転送態様を示す図である。
【図８】最終段のイメージプロセス回路からＪＰＥＧ処理部へのデータ入力態様を示す図である。
【図９】各イメージプロセス回路の前段に配置されている小容量メモリの構成例を示す図である。
【図10】小容量メモリの他の構成例を示す図である。
【図11】縮小記録処理モード時における画像データの流れを示す図である。
【図12】等倍記録処理モード時における画像データの流れを示す図である。
【図13】拡大記録処理モード時における画像データの流れを示す図である。
【図14】ビデオアウト、ＬＣＤ表示、非圧縮記録処理モード時における画像データの流れを示す図である。
【図15】ＪＰＥＧ画像再生処理モード時における画像データの流れを示す図である。
【図16】非圧縮画像再生処理モード時における画像データの流れを示す図である。
【図17】イメージプロセス回路の実行／停止制御を説明するための説明図である。
【図18】一般的な電子的撮像装置における画像処理手順を示す説明図である。
【図19】従来の画像処理装置を示す概略ブロック構成図である。
【符号の説明】
１バス
２ＣＰＵ
３プリプロセス回路
４フレームメモリ
５イメージプロセス回路部
５−１，・・・５−ｎイメージプロセス回路
６ＪＰＥＧ処理部
７−１，・・・７−ｎメモリ
11 基本単位
12 重複部分（のり代）
21 第１の行方向読み出し入力
22 第２の行方向読み出し入力
31 フレームメモリの出力
32−１初段イメージプロセス回路の出力
32−２中間イメージプロセス回路の出力
32−３最終段イメージプロセス回路の出力

Claims

固体撮像素子から出力されて生成された画像データをフレームメモリに記憶する書き込み手段と、
前記フレームメモリに記憶された画像データに空間的な画像処理を施す処理部を含む画像処理部と、
前記フレームメモリに記憶された画像データから、（行方向のデータ長）×（前記画像処理部の出力として得られるデータに対して前記画像処理に要する周辺データを付加した列方向のデータ長）のデータを繰り返し行方向に連続して読み出す読み出し手段と、
前記読み出し手段で読み出されたデータを格納し、データの方向を並び替えるための並び替え用メモリと、
前記並び替え用メモリで列方向に並び替えられたデータを行方向に連続して前記画像処理部へ入力する入力手段と、
を有することを特徴とする画像処理装置。
前記画像処理部は、前記入力手段によって入力された前記画像処理に要する周辺データを付加した列方向のデータ長からなる画像データを画像処理し、この画像処理によって列方向に周辺データ分小さくなった画像データを連続して行方向に出力するように構成されていることを特徴とする請求項１に係る画像処理装置。
第１の行方向データ入力においては、前記入力手段により前記列方向に並び替えられたデータを画像の上端隅部から順次行方向へ移動させて画像の他方の端部位置に達するまでデータ入力を行い、第２の行方向データ入力においては、前記第１の行方向データ入力によって画像処理されて出力されるデータと、該第２の行方向入力によって画像処理されて出力されるデータとが隣接するように、前記第１の行方向データ入力と列方向に一部重複させてデータを読み出し順次行方向へ移動させて画像の他方の端部位置に達するまで入力を行い、以下同様にして第３の行方向データ入力以降のデータ入力を行うように制御するデータ入力制御手段を備えていることを特徴とする請求項１に係る画像処理装置。
前記読み出し手段は、（行方向のバースト長分）×（前記画像処理に要する周辺データを付加した列方向のデータ長）のデータを繰り返し行方向に連続して読み出すことを特徴とする請求項１に係る画像処理装置。
前記画像処理部からＭＣＵブロックサイズのデータを行方向に連続して出力し、前記画像処理部の後段に、前記出力されたＭＣＵサイズのデータを記憶するバッファメモリと、該バッファメモリのデータを読み出すバッファメモリ読み出し手段と、前記バッファメモリの出力を入力するＪＰＥＧ処理部とを更に有することを特徴とする請求項２に係る画像処理装置。
前記画像処理部は複数段の画像処理部からなり、この画像処理部として、少なくともＹＣ生成処理部、ＬＰＦ処理部、拡大縮小処理部のいずれかの処理部を備え、画像処理モードとして少なくとも等倍画像記録処理モード、拡大記録処理モード、縮小記録処理モード、非圧縮記録処理モード、圧縮記録画像再生処理モード、非圧縮記録画像再生処理モード、スルー処理モードのいずれかのモードを選択的に設定する手段と、該画像処理モード設定手段で設定された画像処理モードに応じて処理不要となる所定の画像処理部をバイパスさせる手段とを備えていることを特徴とする請求項１に係る画像処理装置。