JP5152670B2

JP5152670B2 - 画像処理装置、画像処理方法、及びプログラム

Info

Publication number: JP5152670B2
Application number: JP2008326686A
Authority: JP
Inventors: 正人曽雌
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2008-12-23
Filing date: 2008-12-23
Publication date: 2013-02-27
Anticipated expiration: 2028-12-23
Also published as: JP2010153942A

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来より、デジタルカメラや、携帯電話等の撮影機能を有する画像処理装置では、画像を生成する場合、撮像素子から取り込んだベイヤデータ（元画像データ）に対して、ＹＵＶデータへの変換、シェーディング補正や、エッジ強調などの画像補正、ノイズリダクション、歪曲補正、拡大・縮小などの各処理を行っている。

上述したような各処理を行う場合に、画像全体を処理しようとすると、各処理回路が非常に大きくなってしまうため、画像を横方向に所定のライン数ごとに分割するとともに（この分割した単位をベルトと呼ぶ）、分割した元画像データに画像処理で必要となる画像データ（リングピクセル）を付加して各種画像処理を行う技術が知られている（例えば、特許文献１参照）。
特開２００６−２１１４０２号公報

上述したように、元画像データを小さく分割し、分割した元画像データに画像処理で必要となる画像データ（リングピクセル）を付加して順番に処理していくような画像処理回路においては、画像の分割サイズ（ベルトサイズ）が小さくなる程、入力された画像サイズ（処理量）に対して出力される画像サイズが小さくなる。例えば、図１１（ａ）に示すように、１ベルト＝４０ラインの画像データに対して画像処理を行う場合には、１ベルト＝８０ラインのリングピクセルが必要となり、図１１（ｂ）に示すように、１ベルト＝２０ラインの画像データに対して画像処理を行う場合には、１ベルト＝８０ラインのリングピクセルが必要となる。

このため、画像の分割サイズ（ベルトサイズ）が小さくなる程、ベルトの数が増え、各処理回路に入力するトータルのデータ量が増大する。例えば、図１２（ａ）に示すように、画像処理後の画像データが１２０ラインであったとすると、図１２（ｂ）に示すように、１ベルト＝４０ライン時には、３つのベルト（それぞれにリングピクセルが含まれる）に対して画像処理しなければならず、図１２（ｃ）に示すように、１ベルト＝２０ライン時には、６つのベルト（それぞれにリングピクセルが含まれる）に対して画像処理しなければならない。

このように、画像の分割サイズ（ベルトサイズ）が小さくなる程、画像全体に対して画像処理を施すための処理回数が多くなって、画像生成の処理速度は遅くなり、画像処理の効率が低下する。さらには、データバスの使用率が上がるため、他の画像生成に関係ない優先度の低い処理が遅くなるという問題がある。

ところで、実際の画像処理においては、処理中の画像データを一時保持するバッファを用いてノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行う場合と、このようなノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない、すなわちバッファを用いない画像処理を行う場合とがある。

バッファを用いて画像処理を行う場合には、バッファに一時保持するので、分割された画像データに対する１回の処理が終わる毎に破棄する必要がない。このため、画像の分割サイズ（ベルトサイズ）が、バッファを用いない場合に比べて多少大きい方が効率的に処理できる。言い換えると、画像の分割サイズ（ベルトサイズ）が小さいと、効率的に画像処理を行うことができない。

これに対して、バッファを用いない画像処理を行う場合には、画像処理に要する処理能力を考慮すると、画像の分割サイズ（ベルトサイズ）は、ある程度小さくなくてはならない。つまり、処理中の画像を一時的に保持しないので、画像の分割サイズ（ベルトサイズ）を大きくすると、一度に、大量のデータ処理を行わせる必要があるため、回路規模の増大につながる。

従来技術では、回路規模の増大を避けるため、画像の分割サイズ、すなわち画像処理ライン数を、最終出力のライン数に合わせて、前段の処理回路が処理するライン数を設定していた。すなわち、バッファを用いない画像処理に合わせて設定していた。このため、バッファを用いる画像処理であっても、バッファを用いない画像処理に合わせた分割サイズ、すなわち画像処理ライン数で画像処理を行わなければらならず、画像処理が非効率になってしまうという問題があった。

そこで本発明は、元画像を分割し、分割した各画像に対してその周辺画像データを付加して行う画像処理において、回路規模を増大させることなく、画像処理の効率を向上させることができる画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明は、画像データを分割し、分割した画像データを順番に画像処理する画像処理装置であって、前記分割された画像データに対して、異なる種類の画像処理を行う複数の画像処理手段と、前記複数の画像処理手段から複数の画像処理手段を選択する選択手段と、前記選択手段により選択された複数の画像処理手段により実行される画像処理に応じて、前記画像データの分割数を変更する分割数変更手段と、前記選択手段により選択された複数の画像処理手段による一連の画像処理の実行順を制御する実行順制御手段とを備え、前記実行順制御手段は、前記分割された複数の画像データの１つに対して前記一連の画像処理に含まれる複数の画像処理を実行させる順番と、前記一連の画像処理を前記分割された複数の画像データの各々に対して実行させる順番とを制御し、前記分割数変更手段は、前記一連の画像処理に含まれる複数の異なる種類の画像処理の組み合わせに応じて前記画像データの分割数を変更することを特徴とする。

また、好ましい態様として、例えば請求項２記載のように、前記分割数変更手段は、同じ１つの画像処理手段が行う画像処理であっても、その前後に実行する画像処理の種類に応じて１回に処理する画像データの量を変化させるように、前記一連の画像処理に含まれる複数の異なる種類の画像処理の組み合わせに応じて前記画像データの分割数を変更することを特徴とする。

また、好ましい態様として、例えば請求項３記載のように、前記複数の画像処理手段は、前記分割された画像データの周囲にリングピクセルを付加して画像処理を行うことを特徴とする。

また、好ましい態様として、例えば請求項４記載のように、前記複数の画像処理手段は、画像処理中の画像データを一時的に保持するバッファを用いずに画像処理を行う少なくとも１つ以上の第１の画像処理手段と、前記バッファを用いて画像処理を行う少なくとも１つ以上の第２の画像処理手段とを含み、前記選択手段は、前記複数の画像処理手段の中から、前記第１の画像処理手段を少なくとも１つ以上選択する第１の選択動作と、前記第１の画像処理手段に加えて、前記第２の画像処理手段を少なくとも１つ以上選択する第２の選択動作とを含むことを特徴とする。

また、好ましい態様として、例えば請求項５記載のように、請求項４記載の画像処理装置において、前記選択手段に対して、前記第１の選択動作を行わせるか、前記第２の選択動作を行わせるかを指示する選択動作指示手段を更に備えることを特徴とする。

また、好ましい態様として、例えば請求項６記載のように、請求項３乃至５のいずれかに記載の画像処理装置において、前記分割数変更手段は、前記選択手段により前記少なくとも１つ以上の第１の画像処理手段が選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定し、前記選択手段により前記第１の画像処理手段に加えて、前記少なくとも１つ以上の第２の画像処理手段が選択された場合には、前記選択された前記第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定することを特徴とする。

上記目的達成のため、請求項７記載の発明は、画像データを分割し、分割した画像データを順番に複数の画像手段により所定の実行順で画像処理する画像処理方法であって、前記複数の画像処理手段から複数の画像処理手段を選択する選択ステップと、前記選択された複数の画像処理手段により実行される画像処理に応じて、前記画像データの分割数を変更する変更ステップと、前記選択された複数の画像処理手段による一連の画像処理の実行順を制御する制御ステップとを含み、前記制御ステップは、前記分割された複数の画像データの１つに対して前記一連の画像処理に含まれる複数の画像処理を実行させる順番と、前記一連の画像処理を前記分割された複数の画像データの各々に対して実行させる順番とを制御し、前記変更ステップは、前記一連の画像処理に含まれる複数の異なる種類の画像処理の組み合わせに応じて前記画像データの分割数を変更することを特徴とする。

また、好ましい態様として、例えば請求項８記載のように、請求項７記載の画像処理方法において、前記複数の画像処理手段は、前記分割された画像データの周囲にリングピクセルを付加して画像処理を行うことを特徴とする。

また、好ましい態様として、例えば請求項９記載のように、請求項７または８記載の画像処理方法において、前記画像処理手段を選択するステップは、前記複数の画像処理手段の中から、画像処理中の画像データを一時的に保持するバッファを用いずに画像処理を行う第１の画像処理手段を少なくとも１つ以上選択するか、前記第２の画像処理手段に加え、前記バッファを用いて画像処理を行う第２の画像処理手段を少なくとも１つ以上選択することを特徴とする。

また、好ましい態様として、例えば請求項１０記載のように、請求項９記載の画像処理方法において、前記第１の選択動作を行わせるか、前記第２の選択動作を行わせるかを指示するステップを更に含むことを特徴とする。

また、好ましい態様として、例えば請求項１１記載のように、請求項９または１０記載の画像処理方法において、前記分割数を変更するステップは、前記第１の画像処理手段が少なくとも１つ以上選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定するステップと、前記第１の画像処理手段に加えて、前記第２の画像処理手段が少なくとも１つ以上選択された場合には、前記選択された第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定するステップとを含むことを特徴とする。

上記目的達成のため、請求項１２記載の発明は、画像データを分割し、分割した画像データを順番に複数の画像手段により所定の実行順で画像処理する画像処理装置のコンピュータに、前記複数の画像処理手段から複数の画像処理手段を選択する選択機能、前記選択された複数の画像処理手段と前記設定された実行順とに応じて、前記画像データの分割数を変更する変更機能、前記選択された複数の画像処理手段による一連の画像処理の実行順を制御する制御機能、を実行させ、前記制御機能は、前記分割された複数の画像データの１つに対して前記一連の画像処理に含まれる複数の画像処理を実行させる順番と、前記一連の画像処理を前記分割された複数の画像データの各々に対して実行させる順番とを制御し、前記変更機能は、前記一連の画像処理に含まれる複数の異なる種類の画像処理の組み合わせに応じて前記画像データの分割数を変更することを特徴とする。

また、好ましい態様として、例えば請求項１３記載のように、請求項１２記載のプログラムにおいて、前記分割数を変更する機能として、前記第１の画像処理手段が少なくとも１つ以上選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定する機能、前記第１の画像処理手段に加えて、前記第２の画像処理手段が少なくとも１つ以上選択された場合には、前記選択された第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定する機能、を実行させることを特徴とする。

この発明によれば、元画像を分割し、分割した各画像に対してその周辺画像データを付加して行う画像処理において、回路規模を増大させることなく、画像処理の効率を向上させることができるという利点が得られる。

以下、本発明の実施の形態を、図面を参照して説明する。

Ａ．実施形態の構成
図１は、本発明の実施形態によるデジタルカメラの略構成を示すブロック図である。図において、ＣＰＵ１は、所定のプログラムを実行することにより、後述する当該デジタルカメラの各部の動作（撮影、画像処理など）を制御する。ＡＳＩＣ２は、後述するＣＣＤ４から入力したベイヤデータに対して、ＹＵＶデータ変換、エッジ強調やシェーディング補正などの画像補正、画像の拡大や縮小、また、必要に応じてノイズ除去や、歪画像の歪曲補正を行う。また、ＡＳＩＣ２は、後述するＣＣＤ４から入力された画像データに対して各種画像処理等を施してＬＣＤ６に表示する。

ＲＡＭ３は、ＣＰＵ１や、ＡＳＩＣ２の動作に係る各種パラメータや、撮像された画像データ、該画像データに対して画像処理を施した後の画像データなどを保存するとともに、画像処理での途中結果を一時保存する。特に、本実施形態では、一部の画像処理（ノイズ除去、歪曲補正）において必要とされるバッファ領域がＲＡＭ３に確保される。ＣＣＤ４は、レンズ等の光学系を通して結像された画像を電気信号として取り込み、撮像画像データ（以下、元画像データ、またはベイヤデータという）としてＡＳＩＣ２に供給する。

ＲＯＭ５は、ＣＰＵ１、ＡＳＩＣ２で実行される所定のプログラムや、動作パラメータなどを記憶する。特に、本実施形態では、各種画像処理で用いられるパラメータなどが記憶する。ＬＣＤ６は、各種メニュー画面や、メニュー画面での各種設定項目、動作パラメータ、撮影時のスルー画像、撮影された元画像データなどを表示する。キーボード７は、各種撮影パラメータ、動作モードを設定・指定するためのボタンや、シャッタボタンなどからなる。電源部８は、各種バッテリ（一次電池、二次電池など）からなり、上述した各部を動作させるための電源を供給する。

次に、図２は、本実施形態によるＡＳＩＣ２の構成を示すブロック図である。図において、ＡＳＩＣ２は、ＤＭＡＣ（Dynamic Memory Access Controller）９、メモリ制御部１０、ＣＣＤ制御部１１、画像変換部１２、画像補正部１３、画素数変換部１４、画像データ転送部１５、ＮＲ（Noise Reduction：ノイズリダクション）部１６、歪曲補正部１７、キーボード制御部１８、及びＬＣＤ制御部１９からなる。

ＤＭＡＣ９は、ＣＰＵ１を介さずに、メモリ制御部１０を用いてＲＡＭ３や、ＲＯＭ５に直接アクセスし、元画像データの保存や、読み込み、あるいは、後述する各種画像処理部への引き渡しなどを制御する。メモリ制御部１０は、ＤＭＡＣ９による制御の下、直接、ＲＡＭ３や、ＲＯＭ５にアクセスして、ＤＭＡＣ９とＲＡＭ３や、ＲＯＭ５との間でデータの受け渡しを行う。ＣＣＤ制御部１１は、ＣＣＤ４を駆動制御し、ＣＣＤ４で取り込んだ元画像データをＤＭＡＣ９に供給する。

画像変換部１２は、元画像データをＹＵＶデータに変換し、画像補正部１３に供給する。画像補正部１３は、供給される画像データに対して、エッジ強調や、シェーディング補正などの画像補正を行い、画素数変換部１４に供給する。すなわち、画像変換部１２、画像補正部１３、画素数変換部１４は、直結されており、画像処理が終わった画像データを、順次、次の処理部へ引き渡すことができるよう構成されている。画素数変換部１４は、供給される画像データの拡大や、縮小を行う。画像データ転送部１５は、上記画像変換部１２、画像補正部１３、または画素数変換部１４がＲＡＭ３との間で画像データの入出力を行う場合に、ＤＭＡＣ９との間で転送処理を制御する。

ＮＲ部１６は、画像データに対してノイズ除去を行う。また、歪曲補正部１７は、画像データに対して台形歪みなどを除去する歪曲補正を行う。キーボード制御部１８は、キーボード７の入力（スキャン）を制御する。ＬＣＤ制御部１９は、ＤＭＡＣ９から供給される元画像データや、画像処理が施された画像データなどのＬＣＤ６への表示を制御する

本実施形態では、ユーザによってキーボード７から指示（変更）されるか、あるいは、撮影モード（スナップ、遠景、スポーツ、夜景）が選択（変更）されることによって、撮影モード毎に予め設定（またはユーザ設定）された画像処理モードが自動的に選択（変更）されるか、あるいは、撮影時の露出や、コントラストなどの状況に応じて、画像処理モードが選択（変更）される。

本実施形態では、上記画像処理モードとして、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない、すなわちバッファを用いない第１の画像処理モードと、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行う、すなわちバッファを用いる第２の画像処理モードとを用意している。

そして、本実施形態では、第１の画像処理モード、または第２の画像処理モードのどちらを実行するかに応じて、すなわち大容量バッファを用いて画像処理を行うか否かに応じて、各画像処理部での入出力ライン数を変更するようになっている（入出力ライン数を決めることで画像データの分割サイズ（ベルトサイズ）も決まる）。そのため、画像変換部１２、画像補正部１３、画素数変換部１４に対して、１回で処理すべき画像データのサイズ（ライン数）を指示することで、画像変換部１２、画像補正部１３、画素数変換部１４の動作を変更している。

概念的には、バッファを用いない第１の画像処理モードでは、画像変換部１２、画像補正部１３、画素数変換部１４において、可変できるライン数の中で、より大きなライン数を１回に処理するライン数として指定し、バッファを用いる第２の画像処理モードでは、後段の画像処理部が１回に処理できるライン数に応じて、前段の画像処理部のライン数を決定する。なお、各画像処理部での入出力ライン数（ベルトサイズ）の具体例については後述する。

図３は、本実施形態による、バッファを必要とするノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない第１の画像処理モードでの画像データの流れを示すブロック図である。なお、ここでは、画像データの流れのみを説明し、各部で入出力される画像データのサイズについては後述する。

第１の画像処理モードでは、ＲＡＭ３に保存されたベイヤデータは、画像データ転送部１５により読み出され、画像変換部１２、画像補正部１３、画素数変換部１４へと順に供給されながら、各部で所定の画像処理が行われ、画像データ転送部１５に渡された後、ＲＡＭ３に保存される。

図４は、本実施形態による、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行う、すなわちバッファを用いる第２の画像処理モードでの画像データの流れを示すブロック図である。ここでは、上述した第１の画像処理モードと同様に、画像データの流れのみを説明し、各部で入出力される画像データのサイズについては後述する。

第２の画像処理モードでは、ＲＡＭ３に保存されたベイヤデータは、画像データ転送部１５により読み出され、画像変換部１２に供給され、画像変換が行われた後、画像データ転送部１５に渡され、一旦、ＲＡＭ３に保存される。次に、ＲＡＭ３に保存された画像データは、ＮＲ部１６に読み出され、ノイズリダクション処理が行われた後、ＲＡＭ３に保存される。

ＲＡＭ３に保存された画像データは、再び、画像データ転送部１５により読み出され、画像補正部１３に供給され、画像補正が行われた後、画像データ転送部１５に渡され、一旦、ＲＡＭ３に保存される。次に、ＲＡＭ３に保存された画像データは、歪曲補正部１７に読み出され、歪曲補正が行われた後、ＲＡＭ３に保存される。

次に、ＲＡＭ３に保存された画像データは、再び、画像データ転送部１５により読み出され、画素数変換部１４に供給され、画素数変換が行われた後、画像データ転送部１５に渡され、ＲＡＭ３に保存される。

Ｂ．実施形態の動作
次に、上述した実施形態の動作について説明する。
図５乃至７は、本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。まず、ＣＰＵ１は、画像処理モードの選択（または変更）があったか否かを判断する（ステップＳ１０）。そして、画像処理モードの選択（または変更）がない場合には、その他の処理へ進む。

一方、画像処理モードが選択（または変更）されると、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない、すなわちバッファを用いない第１の画像処理モードであるか否かを判断する（ステップＳ１２）。そして、第１の画像処理モードが選択（または変更）された場合には、ＣＰＵ１は、画像変換部１２、画像補正部１３、画素数変換部１４を直結して動作させるよう画像データ転送部１５に指示する（ステップＳ１４）。

画像データ転送部１５は、上記指示を受けると、画像変換部１２、画像補正部１３、画素数変換部１４に対して出力ライン数から計算したライン数を設定する（ステップＳ１６）。すなわち、各画像処理部において、可変できる出力ライン数の中で、より大きな出力ライン数を１回に処理するライン数として指定する。

次に、画像データ転送部１５は、ＲＡＭ３にベイヤデータが格納されたか否かを判断し（ステップＳ１８）、ベイヤデータが格納されるまで待機し（ステップＳ１８のＮＯ）、ベイヤデータが格納されると、ベルトカウンタを初期化「０」し（ステップＳ２０）、ベルトカウンタを「１」だけインクリメントし（ステップＳ２２）、ベイヤデータからリングピクセルを含む１１２×３６ピクセル分を画像変換部１２に対して出力する（ステップＳ２４）。

画像変換部１２は、上記入力された画像データ（１１２×３６ピクセル）を、ＹＵＶデータに変換し、９２×１６ピクセルで画像補正部１３に出力する（ステップＳ２６）。画像補正部１３は、上記入力された画像データ（９２×１６ピクセル）に対して画像補正処理を施し、８６×１０ピクセルで画素数変換部１４に出力する（ステップＳ２８）。画素数変換部１４は、入力された画像データを拡大し、１６０×８ピクセルで画像データ転送部１５に出力する（ステップＳ３０）

画像データ転送部１５では、上記１６０×８ピクセルの画像データを、ＤＭＡＣ９を介してＲＡＭ３に格納する。次に、全ベルト分、終了したか否かを判断し（ステップＳ３４）、全ベルト分終了していない場合には、ステップＳ２２に戻り、次のベルトに対して、上述したステップＳ２４〜Ｓ３２を繰り返し実行する。そして、全ベルト分終了した場合には、当該処理を終了する。

一方、ステップＳ１２で、第１の画像処理モードでないと判断されると（ステップＳ１２のＮＯ）、ＣＰＵ１は、画像変換部１２、画像補正部１３、画素数変換部１４での処理を、最大処理ライン数で動作させるように画像データ転送部１５に指示する（ステップＳ３６）。画像データ転送部１５は、上記指示を受けると、画像変換部１２、画像補正部１３を、最大処理ライン数に設定し、直結でないことを設定する（ステップＳ３８）。
次に、画像データ転送部１５は、ＲＡＭ３にベイヤデータが格納されたか否かを判断し（ステップＳ４０）、ベイヤデータが格納されるまで待機し（ステップＳ４０のＮＯ）、ベイヤデータが格納されると、ベルトカウンタを初期化「０」し（ステップＳ４２）、ベルトカウンタを「１」だけインクリメントし（ステップＳ４４）、ベイヤデータからリングピクセルを含む１１２×６４ピクセル分を画像変換部１２に対して出力する（ステップＳ４６）。

画像変換部１２は、上記入力された画像データ（１１２×６４ピクセル）を、ＹＵＶデータに変換し、９２×４４ピクセルで画像補正部１３に出力する（ステップＳ４８）。画像補正部１３は、上記入力された画像データ（９２×４４ピクセル）をＤＭＡＣ９を介してＲＡＭ３（バッファ）に書き込む（ステップＳ５０）。ＮＲ部１６は、該ＲＡＭ３（バッファ）に保存された画像データ（９２×４４ピクセル）に対してノイズリダクションを施す（ステップＳ５２）。画像データ転送部１５は、ノイズリダクションされた画像データ（９２×４４ピクセル）を読み込み、画像補正部１３に出力する（ステップＳ５４）。

画像補正部１３は、上記入力された画像データ（９２×４４ピクセル）に対して画像補正処理を施し、８６×３６ピクセルで画像データ転送部１５に出力する（ステップＳ５６）。画像データ部１５は、入力された画像データ（８６×３６ピクセル）を、ＤＭＡＣ９を介してＲＡＭ３（バッファ）に書き込む（ステップＳ５８）。次に、歪曲補正部１７は、該ＲＡＭ３（バッファ）に保存された画像データ（８６×３６ピクセル）に対して歪曲補正を施す（ステップＳ６０）。

画像データ転送部１５は、歪曲補正された画像データ（８６×３６ピクセル）を読み込み、画素数変換部１４に出力する（ステップＳ６２）。画素数変換部１４は、入力された画像データを拡大し、１６０×８ピクセルで画像データ転送部１５に出力する（ステップＳ６４）。画像データ転送部１５では、上記１６０×８ピクセルの画像データを、ＤＭＡＣ９を介してＲＡＭ３に格納する。次に、全ベルト分、終了したか否かを判断し（ステップＳ６８）、全ベルト分終了していない場合には、ステップＳ４４に戻り、次のベルトに対して、上述したステップＳ４６〜Ｓ６６を繰り返し実行する。そして、全ベルト分終了した場合には、当該処理を終了する。

次に、本実施形態についてより具体的に説明する。
図８（ａ）〜（ｃ）は、元画像に対して、第１の動作モードでの処理の流れと、第２の動作モードでの処理の流れを示す概念図である。

まず、図８（ａ）に示すように、元画像のベイヤデータの一部を２倍に拡大してＹＵＶデータとして出力する場合について説明する。この場合、画像変換部１２のリングピクセルは、上下左右に１０ピクセル、画像補正部１３のリングピクセルは、上下左右に３ピクセル、画素数変換部１４のリングピクセルは、上下左右に３ピクセル必要なものとする。最終出力画像は、水平１６０ピクセル、垂直１２０ピクセルとし、出力の１ベルトのライン数は、８ピクセルとする。各種サイズの設定、及び経路の設定は、ＣＰＵ１が画像データ転送部１５に対して設定する。

ＮＲや歪曲補正を行わない場合、すなわち、第１の画像処理モードでは、図３に示すように、画像変換部１２、画像補正部１３、画素数変換部１４を直結して使用する。この場合、必要なデータは、図８（ｂ）に示すように、ＮＲ部１６と歪面補正部１７とを除いた場合と同様になる。最終出力の１ベルト分１６０ｘ８ピクセルを出力するためには、画素数変換部１２に対して、１／２の８０ｘ４ピクセル＋画素数変換部１４のリングピクセル３ｘ２である８６ｘ１０ピクセルの画像データを入力する必要がある。

同様にして、画像補正部１３には、８６ｘ１０ピクセルに画像補正部１３のリングピクセルを加えた９２ｘ１６ピクセルの画像データを、画像変換部１２には、９２ｘ１６ピクセルに画像変換部１２のリングピクセルを加えた１１２ｘ３６ピクセルの画像データを入力する必要がある。

一方、ＮＲや歪曲補正を行う場合、すなわち、第２の画像処理モードでは、図４に示すように、直結できるモジュールの間でＮＲや歪曲補正を行うためにバッファを用いるので、画像処理毎にＲＡＭ３へのデータ入出力を行う必要がある。この場合、図８（ｃ）に示すように、画像変換部１２の最大処理ライン数を入力６４ライン、出力４４ライン、画像補正部１３の最大処理ライン数を入力４４ライン、出力３８ラインとする。

この結果、本実施形態では、画像変換部１２、及び画像補正部１３で、２ベルトのみの処理で必要サイズ分の処理を行うことができる。必要なサイズ６０ライン分に対し、画像変換部１２では、２ベルトで８８ライン分、画像補正部１３では、２ベルトで７６ライン分の処理ができるため、２ベルトのみの処理でよい。最終出力である画素数変換部１４だけは、第１の画像処理モード時と同じように、１５ベルト分繰り返すことで、１６０ｘ１２０ピクセルの出力画像が得られる。

図９、及び図１０は、第１、第２の画像処理モードにおける、画像変換部１２でのベルト処理範囲を示す概念図である。図９に示すように、画像変換部１２への入力が３６ライン／ベルトである場合、出力では、１６ライン／ベルトとなるため、出力側でベルトの重複ができ、処理するデータ量が大きくなる。

一方、図１０に示すように、画像変換部１２への入力が６４ライン／ベルトである場合、出力では、４４ライン／ベルトとなり、重複部分がない。すなわち、バッファを用いる第２の画像処理モードでは、画像変換部１２、画像補正部１３での１ベルトの処理ライン数を処理モジュールの最大値にするとともに、処理ベルト数をその最大値のライン数にあわせて決定し（処理ベルトの数を少なくし）、データ処理を行うことで、リングピクセルによる余分なデータ処理を少なくすることができ、画像処理速度を速めることができる。

ここで、図８（ｂ）に示す第１の画像処理モードと図８（ｃ）に示す第２の画像処理モードとでの画像変換部１２、画像補正部１３の入出力のためのメモリアクセスのバイト数を比較する。なお、１ピクセル２バイトとする。図８（ｂ）に示す第１の画像処理モードの場合には、（１１２ｘ３６ｘ２＋９２ｘ１６ｘ２＋９２ｘ１６ｘ２＋８６ｘ１０ｘ２）ｘ１５ｂｅｌｔ＝２３５０８０バイトとなる。一方、図８（ｃ）に示す第２の画像処理モードの場合は、（１１２ｘ６４ｘ２＋９２ｘ４４ｘ２＋９２ｘ４４ｘ２＋８６ｘ３８ｘ２）ｘ２ｂｅｌｔ＝７４１２８バイトとなり、メモリアクセス量が大幅に削減されることが分かる。なお、上記計算式では、画像処理回路への出力側と入力側の両方のアクセス数を加算している。

上述した実施形態によれば、画像処理において、バッファを用いない第１の画像処理モードを実行するか、バッファを用いる第２の画像処理モードを実行するかに応じて、画像処理を行う各処理部で入出力するライン数、処理ベルト数を、各処理部での処理能力に応じて変更することで、それぞれの画像処理モードにおけるデータ処理を最適化したので、リングピクセルによる余分なデータ処理を行うことがなくなり、メモリアクセスが少なくなることで、処理速度を速くすることができるとともに、画像処理以外の他の処理部によるメモリアクセスの待機時間を短縮することができる。

本発明の実施形態によるデジタルカメラの略構成を示すブロック図である。本実施形態によるＡＳＩＣ２の構成を示すブロック図である。本実施形態による、バッファを必要とするノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行わない第１の画像処理モードでの画像データの流れを示すブロック図である。本実施形態による、ノイズリダクション処理（ＮＲ処理）や歪曲補正処理を行う、すなわちバッファを用いる第２の画像処理モードでの画像データの流れを示すブロック図である。本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。本実施形態によるデジタルカメラの動作を説明するためのフローチャートである。本実施形態において、元画像に対して、第１の動作モードでの処理の流れと、第２の動作モードでの処理の流れを示す概念図である。本実施形態において、第１の画像処理モードにおける、画像変換部１２でのベルト処理範囲を示す概念図である。本実施形態において、第２の画像処理モードにおける、画像変換部１２でのベルト処理範囲を示す概念図である。従来技術による、画像処理時における画像データのライン数／ベルトとリングピクセルの大きさとの関係を示す概念図である。従来技術による、画像の分割サイズ（ベルトサイズ）と処理データ量との関係を示す概念図である。

符号の説明

１ＣＰＵ
２ＡＳＩＣ
３ＲＡＭ
４ＣＣＤ
５ＲＯＭ
６ＬＣＤ
７キーボード
８電源部
９ＤＭＡＣ
１０メモリ制御部
１１ＣＣＤ制御部
１２画像変換部
１３画像補正部
１４画素数変換部
１５画像データ転送部
１６ＮＲ部
１７歪曲補正部
１８キーボード制御部
１９ＬＣＤ制御部

Claims

画像データを分割し、分割した画像データを順番に画像処理する画像処理装置であって、
前記分割された画像データに対して、異なる種類の画像処理を行う複数の画像処理手段と、
前記複数の画像処理手段から複数の画像処理手段を選択する選択手段と、
前記選択手段により選択された複数の画像処理手段により実行される画像処理に応じて、前記画像データの分割数を変更する分割数変更手段と、
前記選択手段により選択された複数の画像処理手段による一連の画像処理の実行順を制御する実行順制御手段と
を備え、
前記実行順制御手段は、前記分割された複数の画像データの１つに対して前記一連の画像処理に含まれる複数の画像処理を実行させる順番と、前記一連の画像処理を前記分割された複数の画像データの各々に対して実行させる順番とを制御し、
前記分割数変更手段は、前記一連の画像処理に含まれる複数の異なる種類の画像処理の組み合わせに応じて前記画像データの分割数を変更することを特徴とする画像処理装置。
前記分割数変更手段は、同じ１つの画像処理手段が行う画像処理であっても、その前後に実行する画像処理の種類に応じて１回に処理する画像データの量を変化させるように、前記一連の画像処理に含まれる複数の異なる種類の画像処理の組み合わせに応じて前記画像データの分割数を変更することを特徴とする請求項１記載の画像処理装置。
前記複数の画像処理手段は、前記分割された画像データの周囲にリングピクセルを付加して画像処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
前記複数の画像処理手段は、画像処理中の画像データを一時的に保持するバッファを用いずに画像処理を行う少なくとも１つ以上の第１の画像処理手段と、前記バッファを用いて画像処理を行う少なくとも１つ以上の第２の画像処理手段とを含み、
前記選択手段は、前記複数の画像処理手段の中から、前記第１の画像処理手段を少なくとも１つ以上選択する第１の選択動作と、前記第１の画像処理手段に加えて、前記第２の画像処理手段を少なくとも１つ以上選択する第２の選択動作とを含むことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。
前記選択手段に対して、前記第１の選択動作を行わせるか、前記第２の選択動作を行わせるかを指示する選択動作指示手段を更に備えることを特徴とする請求項４記載の画像処理装置。
前記分割数変更手段は、
前記選択手段により前記少なくとも１つ以上の第１の画像処理手段が選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定し、
前記選択手段により前記第１の画像処理手段に加えて、前記少なくとも１つ以上の第２の画像処理手段が選択された場合には、前記選択された前記第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定することを特徴とする請求項３乃至５のいずれかの記載の画像処理装置。
画像データを分割し、分割した画像データを順番に複数の画像手段により所定の実行順で画像処理する画像処理方法であって、
前記複数の画像処理手段から複数の画像処理手段を選択する選択ステップと、
前記選択された複数の画像処理手段により実行される画像処理に応じて、前記画像データの分割数を変更する変更ステップと、
前記選択された複数の画像処理手段による一連の画像処理の実行順を制御する制御ステップと
を含み、
前記制御ステップは、前記分割された複数の画像データの１つに対して前記一連の画像処理に含まれる複数の画像処理を実行させる順番と、前記一連の画像処理を前記分割された複数の画像データの各々に対して実行させる順番とを制御し、
前記変更ステップは、前記一連の画像処理に含まれる複数の異なる種類の画像処理の組み合わせに応じて前記画像データの分割数を変更することを特徴とする画像処理方法。
前記複数の画像処理手段は、前記分割された画像データの周囲にリングピクセルを付加して画像処理を行うことを特徴とする請求項７記載の画像処理方法。
前記画像処理手段を選択するステップは、前記複数の画像処理手段の中から、画像処理中の画像データを一時的に保持するバッファを用いずに画像処理を行う第１の画像処理手段を少なくとも１つ以上選択するか、前記第２の画像処理手段に加え、前記バッファを用いて画像処理を行う第２の画像処理手段を少なくとも１つ以上選択することを特徴とする請求項７または８記載の画像処理方法。
前記第１の選択動作を行わせるか、前記第２の選択動作を行わせるかを指示するステップを更に含むことを特徴とする請求項９記載の画像処理方法。
前記分割数を変更するステップは、
前記第１の画像処理手段が少なくとも１つ以上選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定するステップと、
前記第１の画像処理手段に加えて、前記第２の画像処理手段が少なくとも１つ以上選択された場合には、前記選択された第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定するステップと
を含むことを特徴とする請求項９または１０記載の画像処理方法。
画像データを分割し、分割した画像データを順番に複数の画像手段により所定の実行順で画像処理する画像処理装置のコンピュータに、
前記複数の画像処理手段から複数の画像処理手段を選択する選択機能、
前記選択された複数の画像処理手段と前記設定された実行順とに応じて、前記画像データの分割数を変更する変更機能、
前記選択された複数の画像処理手段による一連の画像処理の実行順を制御する制御機能、
を実行させ、
前記制御機能は、前記分割された複数の画像データの１つに対して前記一連の画像処理に含まれる複数の画像処理を実行させる順番と、前記一連の画像処理を前記分割された複数の画像データの各々に対して実行させる順番とを制御し、
前記変更機能は、前記一連の画像処理に含まれる複数の異なる種類の画像処理の組み合わせに応じて前記画像データの分割数を変更することを特徴とするプログラム。
前記分割数を変更する機能として、
前記第１の画像処理手段が少なくとも１つ以上選択された場合には、最終出カライン数に合わせて決定した、前記選択された少なくとも１つ以上の第１の画像処理手段における処理ライン数に基づいて、前記画像データの分割数を決定する機能、
前記第１の画像処理手段に加えて、前記第２の画像処理手段が少なくとも１つ以上選択された場合には、前記選択された第１の画像処理手段の最大処理ライン数に基づいて、前記画像データの分割数を決定する機能
を実行させることを特徴とする請求項１２記載のプログラム。