JP5231322B2 - 画像処理装置及び撮像装置 - Google Patents

Description

本発明は、複数の画像処理を直結して行うことが可能な画像処理装置及びこのような画像処理装置を備えた撮像装置に関する。

近年、デジタルカメラ等に代表される撮像装置の画素数の向上及び連写性能の向上に伴い、膨大な画素数の画像データを短時間で処理することが可能な画像処理装置が必要とされている。

このような画像データの処理の高速化技術に関し、例えば特許文献１においては複数の画像処理をパイプライン処理化する技術が提案されている。この特許文献１においては、ローパスフィルタ処理等の複数の空間フィルタ処理を行う複数段の画像処理部と画像圧縮処理部とを直結して接続している。そして、この特許文献１においては、画像圧縮処理部における圧縮処理に必要な圧縮単位（一般にＭＣＵ（Minimum Coded Unit）と呼ばれる）毎に画像処理部の最終段から画像圧縮処理部に画像データを入力できるように、列方向に圧縮単位の列方向の画素数と等しい画素数を有し且つ行方向に１ライン分の画素数を有するブロック単位でフレームメモリから画像データを読み出すようにしている。

ここで、空間フィルタ処理を画像データに対して施す場合、一般には処理前の画像データのサイズに比べて処理後の画像データのサイズが小さくなる。これは、空間フィルタ処理等の画像処理では、画像処理部に入力された画像データにおける周辺部分が処理できないためである。特許文献１のような画像処理部と画像圧縮処理部とを直結して接続する構成の場合、画像処理部の最終段から画像圧縮処理部に入力する画像データの列方向の画素数を圧縮単位の列方向の画素数（若しくはその整数倍）と等しくする必要がある。このため、特許文献１においては、各ブロックの周辺部分をオーバーラップさせて処理するようにしている。しかしながら、各ブロックの周辺部分をオーバーラップさせて処理する場合、画像処理の効率の低下は避けられない。

空間フィルタ処理における画像データのオーバーラップ処理をなくすための提案としては、例えば特許文献２の技術が提案されている。この特許文献２においては、フィルタ処理手段で処理中の中間データのうちで、次の分割画像の処理に対しても用いるオーバーラップする部分の中間データをフレームメモリ（画像メモリ）に格納するようにしている。そして、この特許文献２においては、次の分割画像の処理の際に、次の分割画像とフレームメモリ（画像メモリ）に格納しておいた中間データとを用いて処理を行うことでオーバーラップする部分の複数回の処理の必要をなくしている。

特開２０００−３１２３２７号公報 特開２００２−３０４６２４号公報

ここで、特許文献２の手法を特許文献１のような複数の画像処理部を直結して接続した画像処理装置に対して適用する場合、各画像処理部における処理によって逐次発生する中間データを画像メモリに逐次格納していく必要がある。このため、画像メモリに接続されたバスの帯域を圧迫して処理速度の低下を招き易い。また画像メモリの容量も圧迫し易い。

本発明は、上記の事情に鑑みてなされたもので、複数の画像処理部を直結して接続した場合の画像処理効率を向上させることが可能な画像処理装置及びこのような画像処理装置を備えた撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明の第１の態様の画像処理装置は、撮像されてフレームメモリに格納された画像データに対して複数の画像処理を施す画像処理装置であって、各々が列方向に第１の画素数を有し且つ行方向に第２の画素数を有する複数のブロックラインの画像データが順次入力され、該ブロックラインの画像データに対して画像処理を順次施す複数段の画像処理部と、前記複数段の画像処理部の各々に入力される現在のブロックラインの画像データのうちで、前記現在のブロックラインの次のブロックラインの画像データに対する画像処理においても使用される糊代部分の画像データを格納する糊代保存バッファと、前記複数段の画像処理部の何れを使用するか、及び使用する画像処理部における画像処理の内容を示す動作モードを設定する設定部と、前記設定部により設定された動作モードに応じて前記複数段の画像処理部のうちで使用する画像処理部を選択するとともに、前記動作モードに応じて選択される前記画像処理部の組み合わせに応じて決定される前記糊代部分の画像データの合計値に従って前記糊代保存バッファへの前記糊代部分の画像データの格納方法を選択する制御部とを具備し、前記複数段の画像処理部の各々は、前記次のブロックラインの画像データに対する画像処理においては、前記現在のブロックラインの画像データと前記糊代部分の画像データとを合わせた画像データに対して画像処理を施すことを特徴とする。

また、上記の目的を達成するために、本発明の第２の態様の撮像装置は、被写体を撮像して画像データを得る撮像部と、前記撮像部により得られた画像データを格納するフレームメモリと、前記フレームメモリから、各々が列方向に第１の画素数を有し且つ行方向に第２の画素数を有する複数のブロックラインの画像データが順次入力され、該ブロックラインの画像データに対して画像処理を順次施す複数段の画像処理部と、前記複数段の画像処理部の各々に入力される現在のブロックラインの画像データのうちで、前記現在のブロックラインの次のブロックラインの画像データに対する画像処理においても使用される糊代部分の画像データを格納する糊代保存バッファと、前記複数段の画像処理部の何れを使用するか、及び使用する画像処理部における画像処理の内容を示す動作モードを設定する設定部と、前記設定部により設定された動作モードに応じて前記複数段の画像処理部のうちで使用する画像処理部を選択するとともに、前記動作モードに応じて選択される前記画像処理部の組み合わせに応じて決定される前記糊代部分の画像データの合計値に従って前記糊代保存バッファへの前記糊代部分の画像データの格納方法を選択する制御部とを具備し、前記複数段の画像処理部の各々は、前記次のブロックラインの画像データに対する画像処理においては、前記現在のブロックラインの画像データと前記糊代部分の画像データとを合わせた画像データに対して画像処理を施すことを特徴とする。

本発明によれば、複数の画像処理部を直結して接続した場合の画像処理効率を向上させることが可能な画像処理装置及びこのような画像処理装置を備えた撮像装置を提供することができる。

本発明の第１の実施形態に係る画像処理装置を備えた撮像装置の構成を示す図である。 ブロックラインの概念を示す図である。 ＭＣＵについて説明するための図である。 圧縮単位について説明するための図である。 画像処理部１０６内の１つの画像処理部及び糊代保存バッファ１０６ｂの詳細な構成を示す図である。 画像処理部１０６内の１つの画像処理部の動作の概念について示す図である。 動作モードに対応した画像処理の内容と各画像処理に必要な糊代部分の画像データの量との関係の一例を示す図である。 糊代保存メモリ２０５の容量をＡ＋Ｂ＋Ｅとした場合における、動作モード毎の糊代保存メモリ２０５の状態を示す図である。 分割ブロックライン毎の処理を伴う変形例について説明するための図である。 画像データのオーバーラップ読み出しを伴う場合の変形例について説明するための図である。 本発明の第２の実施形態に係る画像処理装置を備えた撮像装置の構成を示す図である。

以下、図面を参照して本発明の実施形態を説明する。
［第１の実施形態］
まず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係る画像処理装置を備えた撮像装置の構成を示す図である。図１に示す撮像装置は、レンズ１０１と、イメージセンサ１０２と、前処理部１０３と、バス１０４と、フレームメモリ１０５と、画像処理部１０６と、ＪＰＥＧインターフェース（Ｉ/Ｆ）１０７と、ＪＰＥＧ処理部１０８と、ＪＰＥＧ並替部１０９と、メディアインターフェース（Ｉ/Ｆ）１１０と、記録媒体１１１と、ＣＰＵ１１２と、操作部１１３とを有している。

レンズ１０１は、被写体の光学像をイメージセンサ１０２に集光させる。イメージセンサ１０２は、フォトダイオード等の光電変換素子が２次元に配されて構成される受光面の前面に例えばベイヤ配列のカラーフィルタが貼り付けられた構成されている。このイメージセンサ１０２は、レンズ１０１により集光された光を電気信号（画像信号）に変換して前処理部１０３へ出力する。なお、イメージセンサ１０２はＣＭＯＳ方式のイメージセンサでもＣＣＤ方式のイメージセンサでも良い。

前処理部１０３は、イメージセンサ１０２からの画像信号に対して相関二重サンプリング（ＣＤＳ）処理、ゲイン制御（ＡＧＣ）処理等のアナログ処理を施し、さらにアナログ処理した画像信号をＡ/Ｄ変換してデジタル信号の画像データを生成する。

バス１０４は、撮像装置の内部で発生した各種データを撮像装置内の各ブロックに転送するための転送路である。このバス１０４は、前処理部１０３と、フレームメモリ１０５と、画像処理部１０６と、ＪＰＥＧ処理部１０８と、ＪＰＥＧ並替部１０９と、メディアＩ/Ｆ１１０と、ＣＰＵ１１２とに接続されている。

フレームメモリ１０５は、前処理部１０３において得られた画像データや、ＪＰＥＧ処理部１０８において処理された画像データ等の各種データを格納する。このフレームメモリ１０５は、少なくとも１フレーム分の画像データを格納できるだけの容量を有している。

画像処理部１０６は、複数の画像処理部１０６１ａ、１０６２ａ、…、１０６ｎａが直結して接続されて構成され、フレームメモリ１０５から読み出した画像データに対してＹＣ処理（ベイヤ配列の画像データをＹＣ（輝度・色差）データに変換する処理）やＬＰＦ（画像データ中の高空間周波数成分を除去する処理）等のフィルタ処理や、歪み補正処理（レンズ１０１の収差等に起因する画像データの歪みを補正する処理）等の複数の画像処理を順次施す。なお、本実施形態における画像処理部１０６は、フレームメモリ１０５に格納された画像データをブロックライン単位で読み出すものである。図２は、ブロックラインの概念を示す。本実施形態における１つのブロックラインは、列方向に圧縮単位の整数倍に等しい画素数（第１の画素数）を有し、行方向に１フレームの１行分の画素数（第２の画素数）を有して構成されている。ここで、圧縮単位とは、ＪＰＥＧ処理部１０８が圧縮処理する単位画像データのことを言うものとし、本実施形態において、１つの圧縮単位は、１つ以上のＭＣＵを行方向に配置して構成されているものとする。

ＪＰＥＧ規格においては、８×８画素を１つの単位として離散コサイン変換（ＤＣＴ）を行う。この８×８画素の画像データが複数個集まったものが一般的にＭＣＵと呼ばれている。例えば、ＹＣ４２２フォーマットの画像データ（画像処理後に得られる輝度と色差のデータ数比がＹ：Ｃｂ：Ｃｒ＝４：２：２の画像データ）の場合、図３（ａ）に示す、Ｙが１６×８画素、Ｃｂが８×８画素、Ｃｒが８×８画素の合計が１ＭＣＵとなる。また、ＹＣ４２０フォーマットの画像データ（画像処理後に得られる輝度と色差のデータ数比がＹ：Ｃｂ：Ｃｒ＝４：１：１でＣｂ＝Ｃｒの画像データ）の場合、図３（ｂ）に示す、Ｙが１６×１６画素、Ｃｂが８×８画素、Ｃｒが８×８画素の合計が１ＭＣＵとなる。

ＪＰＥＧ規格においては、ＭＣＵを単位として圧縮処理を行い、また圧縮処理の終了時にリスタートマーカと呼ばれるマーカを挿入する。画像データの伸張時においては、リスタートマーカを検出することにより圧縮された画像データを正しく伸張することが可能となる。本実施形態においては、リスタートマーカを挿入する間隔を適宜設定することで１つの圧縮単位が決定される。

図４（ａ）〜図４（ｃ）は圧縮単位の例を示している。図４（ａ）は１ＭＣＵで１圧縮単位を構成する例を示している。この場合、図４（ａ）に示す１ＭＣＵ分の画像データの圧縮が終了した時点でリスタートマーカを挿入する。また、図４（ｂ）は２ＭＣＵで１圧縮単位を構成する例を示しており、この場合には２ＭＣＵ分の画像データの圧縮が終了した時点でリスタートマーカを挿入する。図４（ｃ）は４ＭＣＵで１圧縮単位を構成する例を示しており、この場合には４ＭＣＵ分の画像データの圧縮が終了した時点でリスタートマーカを挿入する。図４（ａ）〜図４（ｃ）に示したものに限らず、１圧縮単位はＭＣＵの整数倍であれば良い。

本実施形態における画像処理部１０６は、図２の矢印で示すような列順で画像データを読み出すことによってブロックライン毎の画像データの読み出しを行う。このような読み出しを行うことによって、画像処理部１０６から圧縮単位に相当する画像データを出力させることが可能となる。

また、本実施形態においては、複数の画像処理部１０６１ａ、１０６２ａ、…、１０６ｎａに対して１つの糊代保存バッファ１０６ｂがバス１０６３を介して接続されている。この糊代保存バッファ１０６ｂの動作を含む画像処理部１０６の動作の詳細については後述する。

ＪＰＥＧＩ/Ｆ１０７は、画像処理部１０６を構成する最終段の画像処理部に接続されており、各ブロックラインに含まれる列方向の圧縮単位の数と同数のバッファメモリを有して構成されている。それぞれのバッファメモリは、圧縮単位分の画像データを１個格納できるだけの容量を少なくとも有している。このような構成のバッファメモリを用いることによって、画像処理部１０６で処理されたブロックラインの画像データを圧縮単位毎に分割する。

ＪＰＥＧ処理部１０８は、画像データの記録時には、画像処理部１０６において処理され、ＪＰＥＧＩ/Ｆ１０７から読み出された画像データを圧縮単位毎に圧縮処理し、圧縮されたブロック毎の画像データをフレームメモリ１０５に書き込む。また、ＪＰＥＧ処理部１０８は、画像データの再生時には、記録媒体１１１に記録された圧縮済みの画像データを読み出し、読み出した圧縮済みの画像データを伸張した後でフレームメモリ１０５に書き込むことも行う。

ＪＰＥＧ並替部１０９は、ＪＰＥＧ処理部１０８で処理され、フレームメモリ１０５に格納された画像データが再生時に正しく再生されるように並び替えを行う。本実施形態においては、図２に示すような列順でブロックラインの画像データを読み出すことにより、画像処理部１０６から圧縮単位に相当する画像データを出力させることができ、これによりＪＰＥＧ処理部１０８において正しく圧縮処理を行うことができる。しかしながら、ＪＰＥＧ処理部１０８による圧縮後の画像データの並び順も図２で示した順序に従ってフレームメモリ１０５に書き込まれることになる。通常、画像データの再生は行順で行われるため、図２で示した順序のままで画像データを記録媒体１１１に記録してしまうと、画像データの再生時に適正な画像の再生はなされない。このため、ＪＰＥＧ並替部１０９により、画像データの並び替えを行う。この並び替えの手法としては、各種の手法を用いることができる。この手法として、例えば圧縮後の圧縮単位の画像データの末尾に挿入されるリスタートマーカを複数の符号カウンタを用いてカウントし、それぞれのカウント結果に従って各圧縮後の圧縮単位の画像データの書き込み先アドレスを制御する手法がある。他の手法を用いて並び替えを行うようにしても良い。

メディアＩ/Ｆ１１０は記録媒体１１１への画像データの書き込み及び読み出しの制御を行う。記録媒体１１１は、例えば撮像装置に着脱可能なメモリカードからなる記録媒体であり、ＪＰＥＧ処理部１０８において圧縮された画像データ等が記録される。

ＣＰＵ１１２は、イメージセンサ１０２、前処理部１０３、画像処理部１０６の動作制御等の、本撮像装置の各種シーケンスを統括的に制御する。操作部１１３は、撮像装置の動作モードを設定するための設定部としての機能を有する操作部材等の各種の操作部材を含む。ＣＰＵ１１２は、操作部１１３によって撮像装置の動作モードが設定された場合に、画像処理部１０６内の複数段の画像処理部１０６１ａ〜１０６ｎａの中で、操作部１１３を介して設定された動作モードに対応した画像処理部を選択する制御部としての機能も有する。この制御部としての動作の詳細については後述する。

次に、画像処理部１０６についてさらに説明する。図５は、画像処理部１０６内の１つの画像処理部及び糊代保存バッファ１０６ｂの詳細な構成を示す図である。なお、図５は、画像処理として３×３のフィルタ処理を行う画像処理部の構成を例示している。

図５に示すように、画像処理部は、入力バッファ２０１と、画像データシリパラ変換部２０２と、糊代データシリパラ変換部２０３と、積和演算部２０４とを有している。また、糊代保存バッファは糊代保存メモリ２０５を有している。

入力バッファ２０１はフレームメモリ１０５又は１段前の画像処理部から図２で示した順序に従ったシリアルデータとして入力されてくる１ブロックライン分の画像データを保持する。

画像データシリパラ変換部２０２は、入力バッファ２０１から出力されるシリアルデータの画像データをパラレルデータに変換し、これによってフィルタ処理に必要な３×３画素の画像データを生成する。この画像データシリパラ変換部２０２は、２個のラインバッファ３０１ａ、３０１ｂと、９個のフリップフロップ（ＦＦ）３０２ａ〜３０２ｉと、６つのセレクタ３０３ａ〜３０３ｆと、データ切替コントロール部３０４とを有している。ここで、９個のＦＦのうち、ＦＦ３０２ａは入力バッファ２０１に接続され、このＦＦ３０２ａの後段にはＦＦ３０２ｄ、３０２ｇがそれぞれセレクタ３０３ａ、３０３ｄを介して直列に接続されている。また、入力バッファ２０１にはラインバッファ３０１ａが接続されている。そして、ＦＦ３０２ｂはラインバッファ３０１ａに接続され、このＦＦ３０２ｂの後段にはＦＦ３０２ｅ、３０２ｈがそれぞれセレクタ３０３ｂ、３０３ｅを介して直列に接続されている。また、ラインバッファ３０１ａにはラインバッファ３０１ｂが接続されている。そして、ＦＦ３０２ｃはラインバッファ３０１ｂに接続され、このＦＦ３０２ｃの後段にはＦＦ３０２ｆ、３０２ｉがそれぞれセレクタ３０３ｃ、３０３ｆを介して直列に接続されている。さらに、ＦＦ３０２ａ〜３０２ｉは積和演算部２０４にも接続されている。

ラインバッファ３０１ａ、３０１ｂはそれぞれ１ブロックラインの列方向画素数分（１ライン分）の画像データを保持できる容量を有している。ラインバッファ３０１ａは、入力バッファ３０１からの画像データを１ライン分保持した後、この保持した画像データをラインバッファ３０１ｂとＦＦ３０２ｂとに順次出力することにより、入力画像データをディレイさせる。また、ラインバッファ３０１ｂは、ラインバッファ３０１ａからの画像データを１ライン分保持した後、この保持した画像データをＦＦ３０２ｃに順次出力することにより、入力画像データをさらにディレイさせる。また、ＦＦ３０２ａ〜３０２ｉは、画像データが入力される毎にそれまで保持していた１画素分の画像データを順次出力する。このようなラインバッファ３０１ａ、３０１ｂ、及びＦＦ３０２ａ〜３０２ｉによって３×３画素の画像データが生成される。

ここで、フィルタのサイズが３×３でなければ、それに応じてラインバッファ及びＦＦの数を変更する必要がある。一般に、フィルタのサイズがｍ×ｎであれば、画像データシリパラ変換部２０２には（ｎ−１）個のラインバッファと（ｍ×ｎ）個のＦＦが必要となる。

セレクタ３０３ａ〜３０３ｆは、それぞれ、画像データシリパラ変換部２０２内のＦＦ３０２ａ〜３０２ｆから出力される画像データと糊代データシリパラ変換部２０３内のＦＦ３０４ａ〜３０４ｇからバス１０６３を介して出力される糊代部分の画像データとの何れかを、データ切替コントロール信号に従って選択する。データ切替コントロール部３０４は、データ切替コントロール信号の切り替え制御を行う。ここで、データ切替コントロール部３０４によるデータ切替コントロール信号の切り替え制御の詳細については後述する。

糊代データシリパラ変換部２０３は、糊代保存バッファ１０６ｂの糊代保存メモリ２０５からバス１０６３を介してシリアルデータとして出力される糊代部分の画像データをパラレルデータに変換する。この糊代データシリパラ変換部２０３は、６個のＦＦ３０４ａ〜３０４ｇから構成されている。ＦＦ３０４ａ〜３０４ｇは、画像データが入力される毎にそれまで保持していた１画素分の画像データを順次シフトさせる。これらのＦＦ３０４ａ〜３０４ｇによって糊代保存メモリ２０５から入力されてくる糊代部分の画像データから２×３画素の画像データが生成される。

ここで、糊代データシリパラ変換部２０３のＦＦの数は後述する糊代部分の画像データの画素数によって変更されるものである。

積和演算部２０４は、ＦＦ３０２ａ〜ＦＦ３０２ｉから出力される３×３画素の画像データに対してフィルタ演算のための積和演算を実行する。ＦＦ３０２ａ〜ＦＦ３０２ｉのそれぞれから出力される画像データに乗じる係数は画像処理に対して適用するフィルタの種類によって変更されるものである。

糊代保存バッファ１０６ｂの糊代保存メモリ２０５は、例えばＳＲＡＭ（Static RAM）から構成され、入力バッファ２０１から出力される画像データのうちの一部の画像データを糊代部分の画像データとして格納する。

ここで、糊代の概念について説明する。一般に、ローパスフィルタ処理等の空間フィルタ処理を含む画像処理を行う場合、画像処理部に入力された画像データのサイズに対して画像処理後の画像データのデータサイズが小さくなることが知られている。これは、空間フィルタ処理においては、画像処理部に入力された画像データの周辺部（上端部、下端部、右端部、左端部）においてフィルタ処理を行うことができない部分が発生するためである。したがって、イメージセンサ１０２を介して得られる画像データのある所定領域に対して画像処理を施すためには、イメージセンサ１０２において所定領域よりも広い領域の画像信号を取得しておき、この所定領域よりも広い領域分の画像データに対して画像処理を行う必要がある。本実施形態では、この余分な領域に対応した画像データのことを糊代部分の画像データ（以下、単に糊代画像データ）と定義する。

さらに、本実施形態のように、画像処理部１０６とＪＰＥＧ処理部１０８とを直結する構成の場合には、図２に示すようなブロックライン単位でフレームメモリ１０５から画像データを読み出している。この場合には、ブロックラインの画像データに対する画像処理毎に処理できない領域が発生するため、ブロックラインの画像データに対する画像処理毎に糊代画像データについても処理を行う必要がある。このような処理を行う場合、あるブロックラインｎの下端とブロックラインｎの次のブロックラインｎ＋１の上端とで糊代がオーバーラップすることになる。

ここで、糊代部分の画像データの列方向画素数は、空間フィルタ処理に用いるフィルタのタップ数や空間フィルタ処理の回数によって決定される。一般に、ｍ×ｍの中央補間フィルタ（タップ数ｍ）を用いる画像処理に必要な糊代の列方向画素数は（ｍ−１）画素となる。例えば、上述した３×３フィルタの場合、糊代画像データの列方向画素数は２である。また、５×５フィルタを用いる画像処理に必要な糊代画像データの列方向画素数は４となる。さらに、複数の空間フィルタ処理を直結して行う場合の糊代部分の画像データの列方向画素数は、各々の空間フィルタの糊代の総和となる。例えば、５×５フィルタと３×３フィルタと直結して行う場合の糊代部分の画像データの列方向画素数は６となる。

本実施形態においては、あるブロックラインｎの画像データに対する画像処理の際に、ブロックラインｎの次のブロックラインｎ＋１における画像処理においても用いられる糊代画像データを糊代保存メモリ２０５に格納するとともに、ブロックラインｎの画像処理においては、ブロックラインｎの前のブロックラインｎ−１における画像処理の際に糊代保存メモリ２０５に格納しておいた糊代画像データも含めて画像処理を行うようにする。

以下、本実施形態における画像処理部１０６内の１つの画像処理部の動作の詳細について説明する。図６は、画像処理部１０６内の１つの画像処理部の動作の概念について示す図である。なお、図６の例は、ブロックラインｎ＋１の画像データに対して３×３フィルタ（上述のように糊代画像データの列方向画素数は２となる）を用いた画像処理を行う場合を例示している。

ブロックラインｎの画像データに対する画像処理の際に、入力バッファ２０１に格納されたブロックラインｎの画像データが図２で示した順序に従ったシリアルデータとして読み出されて画像処理が施される。この際、ブロックラインｎの下端の２行に相当する画像データ（図６のハッチング部で示す画像データ）が入力バッファ２０１から読み出されたときには、この下端の２行に相当する画像データが糊代画像データとして糊代保存メモリ２０５に格納される。

ここで、ブロックラインｎの画像データの画像処理の際にはブロックラインｎ−１の画像処理の際に糊代保存メモリ２０５に格納された画像データも含めて画像処理を行う。このブロックラインｎに対する画像処理に関する説明は次のブロックラインｎ＋１に対する画像処理に関する説明と同様である。したがって、ここでは説明を省略する。

次に、ブロックラインｎ＋１の画像データに対する画像処理について説明する。上述したように、入力バッファ２０１からは図２に示した順序に従って１ラインずつ画像データが入力される。入力バッファ２０１からブロックラインｎ＋１の各ラインにおける１画素目（上端）に相当する画像データが読み出されるのに先だって、入力バッファ２０１から読み出されるラインと同一のラインに対応した糊代画像データ（列方向２画素分）が糊代保存メモリ２０５からシリアルデータとして読み出され、ＦＦ３０４ａに順次入力される。また、ＦＦ３０４ａ〜３０４ｇに保持されていた糊代画像データは、後段に順次シフトされる。これにより、糊代保存メモリ２０５から入力された糊代画像データがパラレルデータに変換される。

その後、入力バッファ２０１からブロックラインｎ＋１の各ラインにおける１画素目（上端）に相当する画像データが読み出される前に、データ切替コントロール部３０４は、ＦＦ３０４ａ〜３０４ｇから入力されてきた糊代画像データを選択するようにデータ切替コントロール信号の切り替えを行う。そして、入力バッファ２０１からブロックラインｎ＋１の各ラインにおける２画素目に相当する画像データが読み出されるときに、データ切替コントロール部３０４は、ＦＦ３０２ａ〜３０２ｆから入力される画像データを選択するようにデータ切替コントロール信号の切り替えを行う。

ＦＦ３０２ａ〜３０２ｉに画像データが入力される毎に、それまでＦＦ３０２ａ〜３０２ｉに保持されていた画像データが後段にシフトされる。積和演算部２０４に３×３画素分の画像データが入力されると、入力された３×３画素分の画像データに対する積和演算（フィルタ処理）が行われる。

以後は、上述した糊代保存メモリ２０５からの糊代画像データの読み出し、データ切替コントロール部３０４による糊代画像データの選択、入力バッファ２０１から読み出される画像データの選択、の動作がブロックラインを構成するライン毎に繰り返される。このようにして、図６のようにして、ブロックラインｎ＋１における３×３画素毎のフィルタ処理が行われる。

さらに、ブロックラインｎ＋１の下端の２行に相当する画像データ（図６のハッチング部で示す画像データ）が入力バッファ２０１から読み出されたときには、この下端の２行に相当する画像データが糊代画像データとして糊代保存メモリ２０５に格納される。この糊代保存メモリ２０５に格納された糊代画像データは次のｎ＋２のブロックラインの画像データの処理時に用いられる。

次に、糊代保存バッファ１０６ｂの共有について説明する。本実施形態においては、糊代保存バッファ１０６ｂと複数の画像処理部１０６１ａ〜１０６ｎａとをバス１０６３を介して接続し、これによって複数の画像処理部１０６１ａ〜１０６ｎａで糊代保存バッファ１０６ｂを共有させるようにしている。この場合、糊代保存バッファ１０６ｂの糊代保存メモリ２０５には、複数の画像処理部１０６１ａ〜１０６ｎａのそれぞれで必要となる糊代画像データを格納する必要がある。

ここで、デジタルカメラ等の一般的な撮像装置においては、高感度撮影モードや動画撮影モード等の複数の動作モードを有するものが多く、また、これらの複数の動作モードではそれぞれ異なる画像処理が必要となる可能性が高い。さらに、画像処理の内容によって糊代画像データの合計値が異なる可能性もある。

したがって、本実施形態においては、撮像装置において行われ得る画像処理の中で、糊代画像データの合計値が最大となる画像処理に応じて糊代保存メモリ２０５の容量を設定する。

例えば、本実施形態の撮像装置が、通常撮影モード、高感度撮影モード、縮小画像記録モード、歪補正機能付撮影モード、の４つの動作モードで動作するものとし、これら動作モードにおいてはそれぞれ異なる画像処理が行われるものとする。各動作モードに対応した画像処理の内容と各画像処理に必要な糊代部分の画像データの量との関係の一例を図７に示す。

図７に示す通常撮影モードは、図示しない絞りやシャッタを制御しつつ、イメージセンサ１０２を動作させて得られた画像データを画像処理部１０６、ＪＰＥＧ処理部１０８において処理した後で記録媒体１１１に記録させる、特別な処理を伴わない通常の撮影を行う動作モードである。この通常撮影モードにおいては、例えば、ＹＣ変換処理を行った後で、ノイズ除去処理を行うものとする。また、図７に示すように、ＹＣ変換処理ではＡの糊代画像データが必要となり、ノイズ除去処理ではＢの糊代画像データが必要となるものとする。上述したように、複数の画像処理を直結した場合の糊代は、各画像処理において必要な糊代の総和となる。したがって、通常撮影モードにおいて必要となる糊代画像データはＡ＋Ｂである。

高感度撮影モードは、基本的な撮影の流れは通常撮影モードと同様である。しかしながら、高感度撮影モードにおいては、イメージセンサ１０２の感度（イメージセンサ１０２から出力される画像信号の増幅率）を通常撮影モードの場合よりも高くして撮影を行う点が通常撮影モードと異なる。イメージセンサ１０２の感度を高くした場合には、通常撮影モードの場合よりもノイズが多くなるので、通常撮影モードの場合よりも強力なノイズ除去処理を行うことが望ましい。一般に、ノイズ除去処理の強度を高くすると、それに応じて処理に必要な糊代画像データの量も多くなる。図７では強力ノイズ除去処理において必要となる糊代画像データの量をＢ’（Ｂ’＞Ｂ）としている。

縮小画像記録モードは、画像処理部１０６における画像処理の際にイメージセンサ１０２を介して得られた画像データの解像度を落としてから（画像データを縮小してから）、記録媒体１１１に記録する点が通常撮影モードと異なる。ただし、図７の例では縮小処理に先だってＬＰＦ処理を行うようにしている。このＬＰＦ処理は、縮小処理の結果として発生し得る折り返し歪みを防止するために行うものである。なお、図７に示すように、ＬＰＦ処理ではＣの糊代画像データが必要となり、縮小処理ではＤの糊代画像データが必要となるものとする。ここで、例えば、Ａ＋Ｂ’＞Ａ＋Ｂ＋Ｃ＋Ｄであるとする。

歪補正機能付撮影モードは、画像処理部１０６における画像処理の際に、レンズ１０１の収差等に伴う画像データの歪みを補正する処理を行ってから記録媒体１１１に記録する点が通常撮影モードと異なる。一般に、歪み補正処理においては、ＹＣ変換処理、ノイズ除去処理、ＬＰＦ処理、縮小処理に比べて大きな糊代画像データが必要となる。図７の例では歪み補正処理において必要となる糊代画像データの量をＥとしている。ここで、例えば、Ａ＋Ｂ＋Ｅ＞Ａ＋Ｂ’であるとする。

図７に示す例においては、各画像処理部で発生し得る糊代画像データの最大量は、Ａ＋Ｂ’＋Ｃ＋Ｅとなる。しかしながら、このような糊代画像データが発生する画像処理は存在しないため、歪補正機能付撮影モードに必要な糊代画像データＡ＋Ｂ＋Ｅを格納できるだけの容量を糊代保存メモリ２０５に持たせれば良い。また、画像処理部１０６内には画像処理部１０６１ａ〜１０６４ａの４種類の画像処理部を持たせれば良い。

図８は、糊代保存メモリ２０５の容量をＡ＋Ｂ＋Ｅとした場合における、動作モード毎の糊代保存メモリ２０５の状態を示す図である。

図８（ａ）は通常撮影モードの場合を示している。この場合、糊代保存メモリ２０５には、画像処理部１０６１ａにおけるＹＣ変換処理に必要な糊代画像データＡと画像処理部１０６２ａにおけるノイズ除去処理に必要な糊代画像データＢとが同時に格納される。そして、糊代画像データＡと糊代画像データＢとを格納した後の残りの領域は未使用領域となる。

図８（ｂ）は高感度撮影モードの場合を示している。この場合、糊代保存メモリ２０５には、画像処理部１０６１ａにおけるＹＣ変換処理に必要な糊代画像データＡと画像処理部１０６２ａにおける強力ノイズ除去処理に必要な糊代画像データＢ’とが同時に格納される。そして、糊代画像データＡと糊代画像データＢ’とを格納した後の残りの領域は未使用領域となる。

図８（ｃ）は縮小画像記録モードの場合を示している。この場合、糊代保存メモリ２０５には、画像処理部１０６１ａにおけるＹＣ変換処理に必要な糊代画像データＡと画像処理部１０６２ａにおけるノイズ除去処理に必要な糊代画像データＢと画像処理部１０６３ａにおけるＬＰＦ処理に必要な糊代画像データＣと画像処理部１０６４ａにおける縮小処理に必要な糊代画像データＤとが同時に格納される。そして、糊代画像データＡと糊代画像データＢと糊代画像データＣと糊代画像データＤとを格納した後の残りの領域は未使用領域となる。

図８（ｄ）は歪み補正機能付撮影モードの場合を示している。この場合、糊代保存メモリ２０５には、画像処理部１０６１ａにおけるＹＣ変換処理に必要な糊代画像データＡと画像処理部１０６２ａにおけるノイズ除去処理に必要な糊代画像データＢと画像処理部１０６４ａにおける歪み補正処理に必要な糊代画像データＥとが同時に格納される。図８（ｄ）に示すように、歪み補正機能付撮影モードの場合には、糊代保存メモリ２０５内の全ての領域が使用されることになる。

ここで、以上のような糊代保存バッファ１０６ｂに用いられる糊代保存メモリ２０５としては、例えばｅＤＲＡＭ（Embedded DRAM）、ＭＲＡＭ（Magnetoresistive RAM）、ＦｅＲＡＭ（Ferroelectric RAM）、ＲｅＲＡＭ（Resistance RAM）、ＰＲＡＭ（Phase change RAM）、１Ｔ−ＳＲＡＭ（One Transistor SRAM）、Ｚ−ＲＡＭ（Zero Capacitor RAM）、ＴＴＲＡＭ（Twin Transistor RAM）といった集積度の高いメモリを用いることができる。

以上説明したように、本実施形態によれば、各ブロックラインの画像データの読み出しの際に糊代部分の画像データを読み出す必要がなく、また糊代部分の画像データに対するオーバーラップ処理も必要ない。

さらに、糊代部分の画像データを糊代保存バッファ１０６ｂに格納することにより、直結する画像処理部の数が増加したとしても、バス１０４の帯域が圧迫されることもない。

また、撮像装置の動作モードに応じて異なる画像処理の内容に応じて糊代保存メモリ２０５の容量を設定することにより、糊代保存バッファ１０６ｂの糊代保存メモリ２０５の容量を必要最低限とすることが可能である。

ここで、上述した実施形態においては、通常撮影モード、高感度撮影モード、縮小画像記録モード、歪補正機能付撮影モードの４つの動作モードを例としている。しかしながら、上述した実施形態の技術は、糊代画像データの量が異なる複数の画像処理を併用する各種の場合に対して適用可能である。

また、上述した実施形態においては、ブロックライン毎に画像データを処理するようにしている。このため、糊代画像データの行方向画素数は１行分の画素数となる。これに対し、図９（ａ）に示すような、１つのブロックラインの画像データを行方向に複数の領域に分割した分割ブロックラインの画像データ毎に処理を行うようにしても良い。例えば、図９（ａ）は１つのブロックラインの画像データを行方向に２分割した場合の例を示している。このような分割ブロックライン毎の処理は図９（ｂ）に示すような順序で画像データを読み出すことによって実現できる。図９（ａ）、図９（ｂ）に示すようにして、ブロックラインの画像データを２分割して処理することにより、糊代保存メモリ２０５の容量を半分にすることが可能となる。

ここで、画像処理の効率を考えた場合には、画像処理部１０６に１度に入力する画像データの量を多くしたほうが良い。逆に、糊代保存メモリ２０５の容量を小さくすることを考えた場合、画像処理部１０６に１度に入力する画像データの量を少なくしたほうが良い。したがって、画像処理効率とメモリ容量の条件を考慮した上で糊代保存メモリ２０５の容量をある最適値に設定しておき、この糊代保存メモリ２０５の設定容量を超える糊代画像データが必要となる動作モードが設定された場合にのみ、図９（ａ）、図９（ｂ）に示したような分割ブロックライン毎の処理を行うようにしても良い。なお、糊代保存メモリ２０５の設定容量と糊代画像データの量によっては、ブロックラインの画像データの分割数を３以上としても良いことは言うまでもない。

また、最適値を超える糊代画像データが必要となる場合の別の処理として、次のようにしても良い。即ち、この変形例は、糊代保存メモリ２０５の設定容量を超える糊代画像データが必要となる動作モードが設定された場合には、糊代保存メモリ２０５の設定容量を超える分の糊代画像データ（図６のハッチング部分で示した部分のうちで糊代保存メモリ２０５に格納できない部分の画像データ）を、各ブロックラインの画像データの読み出し時にフレームメモリ１０５からオーバーラップさせて読み出すようにするものである。

以下、この変形例について図１０（ａ）〜図１０（ｄ）を参照してさらに具体的に説明する。なお、撮像装置の動作モードは、上述した実施形態と同様の、通常撮影モード、高感度撮影モード、縮小画像記録モード、歪補正機能付撮影モードであるとする。また、糊代保存メモリ２０５の設定容量Ｆは、通常撮影モード及び縮小画像モードで必要となる糊代画像データを格納可能な程度（Ａ＋Ｂ＋Ｃ＋Ｄ＜設定容量Ｆ＜Ａ＋Ｂ’）であるとする。

糊代保存メモリ２０５の設定容量ＦがＡ＋Ｂ＋Ｃ＋Ｄよりも大きいので、図１０（ａ）に示す通常撮影モード及び図１０（ｃ）に示す縮小画像記録モードについては、全ての糊代画像データを糊代保存メモリ２０５に格納することが可能である。

これに対し、図１０（ｂ）に示す高感度撮影モード、図１０（ｄ）に示す歪補正機能付撮影モードについては図示矢印で示す部分を糊代保存メモリ２０５に格納することができない。したがって、図示矢印で示す部分を糊代保存メモリ２０５に格納しなくとも良いように、フレームメモリ１０５から余分に画像データを読み出すようにする。図１０（ｂ）に示す高感度撮影モードにおける画像処理部１０６２ａの処理の際には、糊代保存メモリ２０５に格納しておいた糊代画像データとフレームメモリ１０５から余分に読み出しておいた糊代画像データとを合わせた糊代画像データを用いて処理を行う。同様に、図１０（ｄ）に示す歪補正機能付撮影モードにおける画像処理部１０６１ａ、１０６２ａの処理の際には、フレームメモリ１０５から余分に読み出しておいた糊代画像データを用いて処理を行う。

以上説明したような変形例を用いた場合においても画像処理部１０６において必要となる糊代画像データを全て格納する場合に比べて糊代保存メモリ２０５の容量を削減することが可能となる。

なお、分割ブロックライン毎の処理を用いた変形例と、糊代画像データのオーバーラップ読み出しを用いた変形例を組み合わせるようにしても良い。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態においては、画像処理部１０６内に設けられた複数の画像処理部１０６１ａ〜１０６ｎａに対して１つ糊代保存バッファ１０６ｂを設けている。これに対し、本発明の第２の実施形態は、複数の画像処理部１０６１ａ〜１０６ｎａに対して複数の糊代保存バッファを設ける例である。

図１１は、本発明の第２の実施形態に係る画像処理装置を備えた撮像装置の構成を示す図である。なお、図１１における画像処理部１０６以外の構成は図１と同様であるので説明を省略する。

画像処理部１０６は、複数の画像処理部１０６１ａ、１０６２ａ、…、１０６ｎａが直結して接続されて構成されている。そして、これらの複数の画像処理部１０６１ａ、１０６２ａ、…、１０６ｎａは、スイッチ１０６４を介して複数の糊代保存バッファ１０６１ｂ、１０６２ｂ、…、１０６ｎｂに接続されている。ここで、画像処理部１０６１ａと糊代保存バッファ１０６１ｂとは対応しており、糊代保存バッファ１０６１ｂは、画像処理部１０６１ａにおける画像処理に必要な糊代画像データを格納できるだけの容量を有している。同様に、画像処理部１０６２ａと糊代保存バッファ１０６２ｂ、画像処理部１０６３ａと糊代保存バッファ１０６３ｂ、…、画像処理部１０６ｎａと糊代保存バッファ１０１０６ｎｂも対応している。

スイッチ１０６４は、複数の画像処理部１０６１ａ、１０６２ａ、…、１０６ｎａのそれぞれが糊代画像データを格納する際に用いる糊代保存バッファを選択するためのものである。

例えば、図８（ａ）に示す通常撮影モードの際には、画像処理部１０６１ａと画像処理部１０６２ａとを用いて画像処理が行われる。この場合には、画像処理部１０６１ａと糊代保存バッファ１０６１ｂとを接続し、画像処理部１０６２ａと糊代保存バッファ１０６２ｂとを接続するようにスイッチ１０６４を設定する。また、図８（ｂ）に示す高感度撮影モードにおいても、画像処理部１０６１ａと画像処理部１０６２ａとを用いて画像処理が行われる。この場合にも、画像処理部１０６１ａと糊代保存バッファ１０６１ｂとを接続し、画像処理部１０６２ａと糊代保存バッファ１０６２ｂとを接続するようにスイッチ１０６４を設定する。図８（ｃ）に示す縮小画像記録モード、図８（ｄ）に示す歪み補正機能付撮影モードの場合も同様である。

また、図１１のような構成では、１つの画像処理部で複数の糊代保存バッファを占有することも可能である。例えば、歪み補正機能付撮影モードの場合、画像処理部１０６１ａ、画像処理部１０６２ａ、画像処理部１０６４ａを用いて画像処理が行われる。そして、画像処理部１０６４ａにおける歪補正処理においては、大きな糊代画像データを格納する必要がある。したがって、画像処理部１０６４ａと糊代保存バッファ１０６４ｂ、１０６３ｂとを接続するようにスイッチ１０６４を設定する。これにより、画像処理部１０６４ａにおける画像処理に必要な糊代画像データを糊代保存バッファ１０６４ｂ、１０６３ｂに格納することが可能である。このようにして１つの画像処理部で複数の糊代保存バッファを占有可能とすることにより、個々の糊代保存バッファに用いる糊代保存メモリの容量を削減することが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。上述した撮像装置はレンズ１０１が交換式でない例を示している。これに対し、例えば、レンズ１０１が交換式であるレンズ交換式の撮像装置の場合には、交換レンズと撮像装置本体との通信によって得られるレンズ１０１の情報に従って画像処理部１０６において行う歪補正に必要な糊代画像データの量を算出し、この算出結果に応じて糊代保存バッファへの糊代画像データの格納方法を変えるようにしても良い。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１０１…レンズ、１０２…イメージセンサ、１０３…前処理部、１０４，１０６３…バス、１０５…フレームメモリ、１０６…画像処理部、１０７…ＪＰＥＧインターフェース（Ｉ/Ｆ）、１０８…ＪＰＥＧ処理部、１０９…ＪＰＥＧ並替部、１１０…メディアインターフェース（Ｉ/Ｆ）、１１１…記録媒体、１１２…ＣＰＵ、２０１…入力バッファ、２０２…画像データシリパラ変換部、２０３…糊代データシリパラ変換部、２０３…糊代保存データシリパラ変換部、２０４…積和演算部、２０５…糊代保存メモリ、２０６…画像データ切替部、１０６１ａ，１０６２ａ，１０６ｎａ…画像処理部、１０６１ｂ，１０６２ｂ，１０６ｎｂ…糊代保存バッファ、１０６４…スイッチ

Claims (8)

1. 撮像されてフレームメモリに格納された画像データに対して複数の画像処理を施す画像処理装置であって、
   各々が列方向に第１の画素数を有し且つ行方向に第２の画素数を有する複数のブロックラインの画像データが順次入力され、該ブロックラインの画像データに対して画像処理を順次施す複数段の画像処理部と、
   前記複数段の画像処理部の各々に入力される現在のブロックラインの画像データのうちで、前記現在のブロックラインの次のブロックラインの画像データに対する画像処理においても使用される糊代部分の画像データを格納する糊代保存バッファと、
   前記複数段の画像処理部の何れを使用するか、及び使用する画像処理部における画像処理の内容を示す動作モードを設定する設定部と、
   前記設定部により設定された動作モードに応じて前記複数段の画像処理部のうちで使用する画像処理部を選択するとともに、前記動作モードに応じて選択される前記画像処理部の組み合わせに応じて決定される前記糊代部分の画像データの合計値に従って前記糊代保存バッファへの前記糊代部分の画像データの格納方法を選択する制御部と、
   を具備し、
   前記複数段の画像処理部の各々は、前記次のブロックラインの画像データに対する画像処理においては、前記現在のブロックラインの画像データと前記糊代部分の画像データとを合わせた画像データに対して画像処理を施すことを特徴とする画像処理装置。
2. 前記糊代保存バッファは、前記複数段の画像処理部の各々に対応して共通に１つだけ設けられていることを特徴とする請求項１に記載の画像処理装置。
3. 前記糊代保存バッファは、前記動作モードに応じて選択され得る前記画像処理部の組み合わせに応じて決定される前記糊代部分の画像データの合計値の最大値に対応した容量を有していることを特徴とする請求項２に記載の画像処理装置。
4. 前記動作モードに応じて選択される前記画像処理部の組み合わせに応じて決定される前記糊代部分の画像データの合計値が前記糊代保存バッファの容量を超える場合に、前記複数のブロックラインの画像データを行方向に複数の領域に分割した分割ブロックライン毎に前記画像データが前記複数段の画像処理部に入力されることを特徴とする請求項２に記載の画像処理装置。
5. 前記動作モードに応じて選択される前記画像処理部の組み合わせに応じて決定される前記糊代部分の画像データの合計値が前記糊代保存バッファの容量を超える場合に、前記糊代保存バッファの容量を超える分の画像データが、前記現在のブロックラインの前のブロックラインからオーバーラップして前記複数段の画像処理部に入力されることを特徴とする請求項２に記載の画像処理装置。
6. 前記糊代保存バッファは、前記複数段の画像処理部に対応して複数設けられており、
   前記複数段の画像処理部と前記複数の糊代保存バッファとの接続状態を切り替えるためのスイッチをさらに具備することを特徴とする請求項１に記載の画像処理装置。
7. 被写体を撮像して画像データを得る撮像部と、
   前記撮像部により得られた画像データを格納するフレームメモリと、
   前記フレームメモリから、各々が列方向に第１の画素数を有し且つ行方向に第２の画素数を有する複数のブロックラインの画像データが順次入力され、該ブロックラインの画像データに対して画像処理を順次施す複数段の画像処理部と、
   前記複数段の画像処理部の各々に入力される現在のブロックラインの画像データのうちで、前記現在のブロックラインの次のブロックラインの画像データに対する画像処理においても使用される糊代部分の画像データを格納する糊代保存バッファと、
   前記複数段の画像処理部の何れを使用するか、及び使用する画像処理部における画像処理の内容を示す動作モードを設定する設定部と、
   前記設定部により設定された動作モードに応じて前記複数段の画像処理部のうちで使用する画像処理部を選択するとともに、前記動作モードに応じて選択される前記画像処理部の組み合わせに応じて決定される前記糊代部分の画像データの合計値に従って前記糊代保存バッファへの前記糊代部分の画像データの格納方法を選択する制御部と、
   を具備し、
   前記複数段の画像処理部の各々は、前記次のブロックラインの画像データに対する画像処理においては、前記現在のブロックラインの画像データと前記糊代部分の画像データとを合わせた画像データに対して画像処理を施すことを特徴とする撮像装置。
8. 前記動作モードは、通常撮影モード、高感度撮影モード、縮小画像記録モード、及び歪み補正機能付撮影モードを含むことを特徴とする請求項７に記載の撮像装置。

Images