JP6451191B2 - 画像処理装置および撮像装置 - Google Patents

Description

本発明は、画像処理装置および撮像装置に関する。

従来より、複数の画像処理回路を備えた画像処理装置が知られている（たとえば、特許文献１参照）。また、このような画像処理装置において、省電力化を図るために、画像処理回路のクロック周波数や電力供給を抑制する技術が知られている。

特開平０６−３３４８２４号公報

しかしながら、従来技術では、クロック周波数や電力供給の制御を全ての画像処理回路で一律に行うため、一部の画像処理回路で画像処理を行う場合には、画像処理を行わない他の画像処理回路においてもクロック周波数や電力が供給されてしまい、画像処理装置全体の省電力化を有効に図ることができない場合があった。

本発明は、以下の解決手段によって上記課題を解決する。

本発明の第１の観点に係る画像処理装置は、画像処理機能を有する複数の画像処理回路を備え、複数の撮影モードのうち現在設定されている撮影モードを取得する取得部と、前記取得部により取得された前記撮影モードに基づいて、前記複数の画像処理回路のうち、一部の画像処理回路の動作を抑制する制御部と、を備えることを特徴とする画像処理装置。

本発明の第２の観点に係る画像処理装置は、画像処理機能を有する複数の画像処理回路を備え、処理対象の画像のサイズ、画質、およびフレームレートのいずれか１つ以上を含む画像情報を取得する取得部と、前記取得部により取得された前記画像情報に基づいて、前記複数の画像処理回路のうち、一部の画像処理回路の動作を抑制する制御部と、を備えることを特徴とする。

図１は、本実施形態に係るカメラを示すブロック図である。 図２は、本実施形態に係る画像処理装置の構成を示す概要図である。 図３は、図２に示す画像処理回路の詳細を示す概略図である。 図４は、静止画撮影モードにおいて用いられる画像処理回路の詳細を説明するための図である。 図５は、動画撮影モードにおいて用いられる画像処理回路を説明するための図である。 図６は、動画撮影モードにおいて用いられる画像処理回路の詳細を説明するための図である。 図７は、画像再生モードまたはライブビューモードにおいて用いられる画像処理回路を説明するための図である。 図８は、画像再生モードまたはライブビューモードにおいて用いられる画像処理回路の詳細を説明するための図である。 図９は、第２実施形態に係る画像処理回路の制御方法を説明するための図である。

以下、本発明の実施形態を図面に基づいて説明する。なお、以下においては、本実施形態に係る画像処理装置を搭載した一眼レフデジタルカメラ１を例示して説明する。

図１は、本実施形態に係る一眼レフデジタルカメラ１を示すブロック図である。図１に示すように、本実施形態の一眼レフデジタルカメラ１（以下、単にカメラ１という。）は、カメラ本体１００とレンズ鏡筒２００とを備え、カメラ本体１００とレンズ鏡筒２００とは着脱可能に結合される。

レンズ鏡筒２００には、レンズ２１１，２１２，２１３、および絞り２２０を含む撮影光学系が内蔵されている。

レンズ２１２は、フォーカスレンズであり、光軸Ｌ１方向に移動することで、撮影光学系の焦点距離を調節可能となっている。フォーカスレンズ２１２は、レンズ鏡筒２００の光軸Ｌ１に沿って移動可能に設けられ、エンコーダ２６０によってその位置が検出されつつレンズ駆動モータ２３０によってその位置が調節される。

絞り２２０は、上記撮影光学系を通過して、カメラ本体１００に備えられた撮像素子１１０に至る光束の光量を制限するとともにボケ量を調整するために、光軸Ｌ１を中心にした開口径が調節可能に構成されている。絞り２２０による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部１７０からレンズ制御部２５０を介して絞り駆動部２４０へ送信されることにより行われる。なお、絞り２２０の開口径は図示しない絞り開口センサにより検出され、レンズ制御部２５０で現在の開口径が認識される。

カメラ本体１００は、被写体からの光束を撮像素子１１０、ファインダ１３５、測光センサ１３７および焦点検出部１６０へ導くためのミラー系１２０を備える。このミラー系１２０は、回転軸１２３を中心にして被写体の観察位置と撮像位置との間で所定角度だけ回転するクイックリターンミラー１２１と、このクイックリターンミラー１２１に軸支されてクイックリターンミラー１２１の回動に合わせて回転するサブミラー１２２とを備える。図１においては、ミラー系１２０が被写体の観察位置にある状態を実線で示し、被写体の撮像位置にある状態を二点鎖線で示す。

ミラー系１２０は、被写体の観察位置にある状態では光軸Ｌ１の光路上に挿入される一方で、被写体の撮像位置にある状態では光軸Ｌ１の光路から退避するように回転する。

クイックリターンミラー１２１はハーフミラーで構成され、被写体の観察位置にある状態では、被写体からの光束（光軸Ｌ１）の一部の光束（光軸Ｌ２，Ｌ３）を当該クイックリターンミラー１２１で反射してファインダ１３５および測光センサ１３７に導き、一部の光束（光軸Ｌ４）を透過させてサブミラー１２２へ導く。これに対して、サブミラー１２２は全反射ミラーで構成され、クイックリターンミラー１２１を透過した光束（光軸Ｌ４）を焦点検出部１６０へ導く。

したがって、ミラー系１２０が観察位置にある場合は、被写体からの光束（光軸Ｌ１）はファインダ１３５、測光センサ１３７および焦点検出部１６０へ導かれ、撮影者により被写体が観察されるとともに、露出演算やフォーカスレンズ２１２の焦点調節状態の検出が実行される。そして、撮影者がレリーズボタンを全押しするとミラー系１２０が撮影位置に回動し、被写体からの光束（光軸Ｌ１）は全て撮像素子１１０へ導かれ、撮影した画像データを図示しないメモリに保存する。

クイックリターンミラー１２１で反射された被写体からの光束（光軸Ｌ２）は、撮像素子１１０と光学的に等価な面に配置された焦点板１３１に結像し、ペンタプリズム１３３と接眼レンズ１３４とを介して観察可能になっている。このとき、透過型液晶表示器１３２は、焦点板１３１上の被写体像に焦点検出エリアマークなどを重畳して表示するとともに、被写体像外のエリアにシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。これにより、撮影者は、撮影準備状態において、ファインダ１３５を通して被写体およびその背景ならびに撮影関連情報などを観察することができる。

また、接眼レンズ１３４の近傍には、測光用レンズ１３６と測光センサ１３７とが設けられ、焦点板１３１に結像した被写体光の一部を受光する。

測光センサ１３７は、二次元カラーＣＣＤイメージセンサなどで構成され、撮影の際の露出値を演算するため、撮影画面を複数の領域に分割して領域ごとの輝度に応じた測光信号を出力する。測光センサ１３７で検出された信号はカメラ制御部１７０へ出力され、自動露出制御などに用いられる。

撮像素子１１０は、カメラ本体１００の、被写体からの光束の光軸Ｌ１上であって、レンズ２１１，２１２，２１３を含む撮影光学系の予定焦点面に設けられ、その前面にシャッター１１１が設けられている。この撮像素子１１０は、複数の光電変換素子が二次元に配置されたものであって、二次元ＣＣＤイメージセンサ、ＭＯＳセンサまたはＣＩＤなどのデバイスから構成することができる。撮像素子１１０で光電変換された画像信号は、カメラ制御部１７０で画像処理されたのち図示しないメモリに保存される。なお、撮影画像を格納するメモリは内蔵型メモリやカード型メモリなどで構成することができる。

焦点検出部１６０は、被写体光を用いた位相差検出方式による自動合焦制御を実行するための装置である。焦点検出部１６０は、サブミラー１２２で反射した光束（光軸Ｌ４）の、撮像素子１１０の撮像面と光学的に等価な位置に受光面を有しており、フォーカスレンズ２１２の射出瞳の異なる一対の領域を通る一対の光束を、受光面に設けられた一対のラインセンサ（不図示）で受光することで、一対の像信号を取得する。そして、焦点検出部１６０は、一対のラインセンサで取得した一対の像信号の位相ずれを、相関演算によって求めることにより、一対の像信号のずれ量を算出し、算出したずれ量をデフォーカス量に変換して、カメラ制御部１７０に送信する。

操作部１５０は、シャッターレリーズボタンや撮影者がカメラ１の各種動作モードを設定するための入力スイッチを備えており、オートフォーカスモード／マニュアルフォーカスモードの切換が行えるようになっている。シャッターレリーズボタンのスイッチは、ボタンの半押しでＯＮとなる第１スイッチＳＷ１と、ボタンの全押しでＯＮとなる第２スイッチＳＷ２とを含む。この操作部１５０により設定されたシャッターレリーズボタンのスイッチＳＷ１，ＳＷ２および各種モードはカメラ制御部１７０へ送信される。

さらに、本実施形態において、操作部１５０は、静止画撮影モード／動画撮影モード／画像再生モード／ライブビューモードの切り替えが行えるようになっている。ライブビューモードとは、所定のフレームレートでスルー画像を撮像し、カメラ本体１００の背面に設置された液晶モニタ１８０に、撮像したスルー画像を連続して表示するモードである。なお、ライブビューモードにおけるフレームレートは、動画撮影モードにおけるフレームレートと同じか、動画撮影モードにおけるフレームレートよりも低くなっている。また、本実施形態において、操作部１５０は、歪み補正処理を実行するか否かを切り替えることも可能となっている。ここで、歪み補正モードとは、撮像した撮像画像の歪みを補正する処理であり、周知の方法を用いて行うことができる。

カメラ制御部１７０は、撮影画像情報の補正、レンズ鏡筒２００の焦点調節状態の検出、および絞り調節状態の検出など、カメラ１全体の制御を司る。また、カメラ制御部１７０は画像処理装置１０を備えており、画像処理装置１０は、撮像素子１１０から読み出した画像データに対して所定の画像処理を行い、画像処理を行った画像データを図示しない記憶装置に記憶する。

図２は、本実施形態に係る画像処理装置１０の構成を示す概略図である。画像処理装置１０は、図２に示すように、複数の画像処理部２０_１，２０_２と画像処理用メモリ３０とを備えている。なお、図２に示す例では、２つの画像処理部２０_１，２０_２と１つの画像処理用メモリ２０とを図示しているが、画像処理部２０_１，２０_２および画像処理用メモリ３０の数は、特に限定されない。なお、画像処理部２０_１，２０_２は同一の構成を有するため、以下においては、画像処理部２０_２を例示して、画像処理部について説明する。

画像処理部２０_２は、図２に示すように、複数の画像処理回路４０_１〜４０_９から構成されている。なお、図２に示す例では、画像処理部２０_２が９つの画像処理回路４０_１〜４０_９を備える構成を例示しているが、画像処理回路４０_１〜４０_９の数は、特に限定されない。

また、図３は、図２に示す各画像処理回路４０_１〜４０_９の詳細を示す概略図である。なお、画像処理回路４０_１〜４０_９はそれぞれ同一の構成を有するため、以下においては、画像処理回路４０_１〜４０_９を画像処理回路４０_ｉ（ｉ＝１〜９）として説明する。

画像処理回路４０_ｉは、様々なビット数（ビット精度）の画像データを処理する機能を有するように、様々なビット数の画像データに対応する複数のデータ処理回路を備えている。たとえば、図３に示す例において、画像処理回路４０_ｉは、８ビットの画像データに対応するデータ処理回路５０_１と、１２ビットの画像データに対応するデータ処理回路５０_２と、１４ビットの画像データに対応するデータ処理回路５０_３とを備えている。

また、データ処理回路５０_１〜５０_３は並列に接続されており、画像処理回路４０_ｉは、データ処理に用いるデータ処理回路５０_１〜５０_３を選択し、選択したデータ処理回路を用いてデータ処理を行うことができる。たとえば、画像処理回路４０_ｉは、画像処理に用いる１つのデータ処理回路に対して、所定のクロック周波数と電力とを供給することで、画像処理に用いるデータ処理回路を動作させるとともに、画像処理に用いないデータ処理回路に対しては、クロック周波数または電力の供給を停止または減少させることで、画像処理に用いないデータ処理回路の動作を抑制することができる。これにより、画像処理に用いないデータ処理回路における電力消費量を低減することができる。

なお、８ビットの画像データに対応するデータ処理回路５０_１を用いて画像処理を行う場合には、消費電力量は最も小さくなり、１４ビットの画像データに対応するデータ処理回路５０_３を用いて画像処理を行う場合には、電力消費量は最も大きくなる。そのため、８ビットの画像データに対応するデータ処理回路５０_１を用いて画像処理を行う場合には、１４ビットの画像データに対応するデータ処理回路５０_３を用いて画像処理を行う場合と比べて、電力消費量をより低減することができる。

また、画像処理回路４０_ｉは、図３に示すように、画像データのフィルタ処理機能を有するフィルタ回路６０_１〜６０_３を備えている。たとえば、図３に示す例において、フィルタ回路６０_１〜６０_３は、３×３画素、５×５画素、１０×１０画素のそれぞれのフィルタサイズ（フィルタ径）に対応しており、３×３画素、５×５画素、１０×１０画素のそれぞれのフィルタサイズ（フィルタ径）でフィルタ処理を行うことができる。

また、各フィルタ回路６０_１〜６０_３は並列に接続されており、画像処理回路４０_ｉは、フィルタ処理に用いるフィルタ回路６０_１〜６０_３を選択し、選択したフィルタ回路を用いてフィルタ処理を行うことができる。たとえば、画像処理回路４０_ｉは、画像処理に用いるフィルタ回路に対して、所定のクロック周波数と電力とを供給することで、画像処理に用いるフィルタ回路を動作させるとともに、画像処理に用いないフィルタ回路に対しては、クロック周波数または電力の供給を停止または減少させることで、画像処理に用いないフィルタ回路の動作を抑制することができる。これにより、画像処理に用いないフィルタ回路における電力消費量を低減することができる。

なお、３×３画素のフィルタサイズに対応するフィルタ回路６０_１を用いてフィルタ処理を行う場合は、電力消費量は最も小さくなり、１０×１０画素のフィルタサイズに対応するフィルタ回路６０_３を用いてフィルタ処理を行う場合には、電力消費量は最も大きくなる。そのため、３×３画素のフィルタサイズに対応するフィルタ回路６０_１を用いて画像処理を行う場合には、１０×１０画素のフィルタサイズに対応するフィルタ回路６０_３を用いて画像処理を行う場合と比べて、電力消費量をより低減させることができる。

さらに、画像処理回路４０_ｉは、図３に示すように、画像処理において、データを一時的に記憶するためのバッファとして、３つのバッファ回路７０_１〜７０_３を備えている。本実施形態において、バッファ回路７０_１〜７０_３は、同一の性能を備えている。

また、バッファ回路７０_１〜７０_３は並列に接続されており、画像処理回路４０_ｉは、画像処理において、１つ以上のバッファ回路７０_１〜７０_３を使用することができる。たとえば、画像処理回路４０_ｉは、画像処理に用いるバッファ回路に対して所定のクロック周波数と電力とを供給することで、画像処理に用いるバッファ回路を動作させるとともに、画像処理に用いないバッファ回路に対しては、クロック周波数または電力の供給を停止または減少させることで、画像処理に用いないバッファ回路の動作を抑制することができる。これにより、画像処理に用いないバッファ回路における電力消費量を低減することができる。

なお、画像処理に用いるバッファ回路７０_１〜７０_３の数が多くなるほど電力消費量は大きくなる。そのため、バッファ回路を１つ用いて画像処理を行う場合には、バッファ回路を３つ用いて画像処理を行う場合と比べて、電力消費量をより低減させることができる。

さらに、本実施形態において、画像処理部２０_２は、図２に示すように、３つの画像処理回路４０_１〜４０_３が直列に接続された画像処理列８０_１と、３つの画像処理回路４０_４〜４０_６が直列に接続された画像処理列８０_２と、３つの画像処理回路４０_７〜４０_９が直列に接続された画像処理列８０_３とを備えている。

画像処理列８０_１〜８０_３は並列に接続されており、画像処理装置１０は、１または２以上の画像処理列８０_１〜８０_３を用いて画像処理を行うことができる。たとえば、画像処理装置１０は、画像処理に用いる画像処理列に対して、所定のクロック周波数と電力とを供給することで、画像処理に用いる画像処理列（すなわち画像処理列に含まれる画像処理回路）を動作させるとともに、画像処理に用いない画像処理列に対しては、クロック周波数または電力の供給を停止または減少させることで、画像処理に用いない画像処理列（すなわち画像処理列に含まれる画像処理回路）の動作を抑制することができる。これにより、画像処理に用いない画像処理列における電力消費量を低減することができる。なお、画像処理列８０_１〜８０_３はそれぞれ同一の構成を有するため、以下においては、画像処理列８０_１〜８０_３を画像処理列８０_ｉ（ｉ＝１〜３）として説明する。

また、図２に示すように、画像処理列８０_１を構成する各画像処理回路４０_１〜４０_３は、画像処理回路４０_１〜４０_３による画像処理を回避するためのバイパス９０_１〜９０_３をそれぞれ備えている。同様に、画像処理列８０_２，８０_３においても、各画像処理部４０_４〜４０_９にバイパス９０_４〜９０_９がそれぞれ備えられている。なお、バイパス９０_１〜９０_９は、それぞれ同一の構成を有するため、バイパス９０_１〜９０_９をバイパス９０_ｉ（ｉ＝１〜９）として説明する。

本実施形態において、画像処理装置１０は、バイパス９０_ｉのオン／オフを制御することで、画像処理列８０_ｉを構成する画像処理回路４０_ｉの中から、画像処理に用いる画像処理回路４０_ｉを選択することができる。たとえば、画像処理装置１０は、データ量の多い画像データの画像処理を行う場合には、画像処理列８０_１に含まれる全ての画像処理回路４０_１〜４０_３のバイパス９０_１〜９０_３をオフすることで、画像処理列８０_１に含まれる全ての画像処理回路４０_１〜４０_３に対して、所定のクロック周波数および電力を供給し、これにより、画像処理列８０_１に含まれる全ての画像処理回路４０_１〜４０_３を用いて画像処理を行うことができる。一方、画像処理装置１０は、データ量の少ない画像データの画像処理を行う場合には、たとえば画像処理列８０_１に含まれる画像処理回路４０_１〜４０_３のうち、画像処理回路４０_３に対応するバイパス９０_３のみをオンに設定することで、画像処理回路４０_１，４０_２に対してはクロック周波数および電力を供給し、画像処理回路４０_３に対してはクロック周波数および電力の供給を停止する。これにより、画像処理回路４０_１，４０_２を用いて画像処理を行い、画像処理回路４０_３を用いて画像処理を行わないように制御することができ、画像処理回路４０_３における電力消費量を低減することができる。

さらに、本実施形態において、画像処理装置１０は、上述したように、複数の画像処理部２０_１，２０_２と画像処理用メモリ３０とを備えている。そして、画像処理部２０_１と画像処理部２０_２との間には、図２に示すように、画像処理用メモリ３０を介さずに画像データを画像処理部２０_１から画像処理部２０_２へと転送する第１データパスと、画像処理用メモリ３０を介して画像データを画像処理部２０_１から画像処理部２０_２へと転送する第２データパスとが設けられている。

本実施形態において、画像処理装置１０は、画像処理を行う際に、第１データパスを用いて画像データを画像処理部２０_１から画像処理部２０_２に転送するか、あるいは、第２データパスを用いて画像データを画像処理部２０_１から画像処理部２０_２に転送するかを選択することができる。たとえば、画像処理装置１０は、画像処理の負荷が高い場合には、画像処理用メモリ３０を介して画像データを転送する第２データパスを選択することができ、一方、画像処理の負荷が低い場合には、画像処理用メモリ３０を用いずに画像データを転送する第１データパスを選択することができる。なお、第１データパスを用いて画像データを転送する場合には、画像処理用メモリ３０を使用しない分、第２データパスを用いて画像データを転送する場合と比べて、消費電力量を低減することができる。

また、本実施形態において、画像処理装置１０は、静止画撮影モード、動画撮影モード、画像再生モード、およびライブビューモードを含む撮影モードのうち、現在設定されている撮影モードに基づいて、各画像処理回路４０_ｉの動作を制御する。具体的には、画像処理装置１０は、静止画撮影モード、動画撮影モード、画像再生モード、およびライブビューモードを含む撮影モードのうち、現在設定されている撮影モードの情報を、カメラ制御部１７０から取得する。そして、画像処理装置１０は、取得した撮影モードに基づいて、８ビット、１２ビット、または１４ビットに対する３つのデータ処理回路５０_１〜５０_３の中から画像処理に用いるデータ処理回路を選択し、３×３画素、５×５画素、１０×１０画素のフィルタサイズに対する３つのフィルタ回路６０_１〜６０_３の中から画像処理に用いるフィルタ回路を選択し、さらには、ｂｕｆｆ０〜ｂｕｆｆ２の３つのバッファ回路７０_１〜７０_３の中らから画像処理に用いるバッファ回路を選択する。さらに、画像処理装置１０は、取得した撮影モードに基づいて、画像処理に用いる画像処理列８０_１〜８０_３や、画像処理列８０_１〜８０_３の中で画像処理に用いる画像処理回路４０_１〜４０_９を選択する。以下に、各撮影モードにおける画像処理回路４０_ｉの動作について説明する。

まず、第１に、静止画撮影モードにおける、画像処理回路４０_ｉの動作について説明する。ここで、図４は、静止画撮影モードにおいて用いられる画像処理回路４０_ｉの詳細を説明するための図である。なお、図４においては、画像処理に用いられる回路を白色で示し、画像処理に用いられない回路をグレーで示している（後述する図５〜図８においても同様）。

静止画撮影モードにおいては、サイズが大きく高画質な画像の画像処理が要求される場合があり、さらに、連写撮影時には高フレームレートでの画像処理が要求される場合がある。このように、静止画撮影モードにおいては、画像処理において画像処理負荷が高くなる場合があり、そのため、高い画像処理能力が実現されるように、画像処理回路４０_iを動作させることが好ましい。

そこで、静止画撮影モードにおいて、画像処理装置１０は、たとえば図４に示すように、画像処理回路４０_ｉに対して、１４ビットの画像データに対応するデータ処理回路５０_１を用いて画像処理を行わせるとともに、ｂｕｆｆ０〜ｂｕｆｆ２の３つのバッファ回路７０_１〜７０_３を用いて画像処理を行わせることができる。また、画像処理装置１０は、画像データのフィルタ処理を行う場合には、たとえば図４に示すように、画像処理回路４０_ｉに対して、１０×１０画素のフィルタサイズに対応するフィルタ回路６０_３を用いて画像処理を行わせることができる。

また、静止画撮影モードにおいて、画像処理装置１０は、高い画像処理能力を実現するために、たとえば図２に示すように、全ての画像処理列８０_１〜８０_３に画像処理を行わせるとともに、画像処理列８０_１〜８０_３に含まれる全ての画像処理回路４０_１〜４０_９のバイパス９０_１〜９０_９をオフに設定することで、全ての画像処理回路４０_１〜４０_９において画像処理を行わせることができる。

さらに、静止画撮影モードにおいて、画像処理装置１０は、画像処理部２０_１から画像処理部２０_２に画像データを転送する場合には、画像処理用メモリ３０を介して画像データを転送する第２データパスを用いて、画像データを画像処理部２０_１から画像処理部２０_２に転送することができる。具体的には、画像処理装置１０は、画像処理部２０_１に、画像処理した画像データを一時的に画像処理用メモリ３０に保存させ、その後、画像処理部２０_２に、画像処理用メモリ３０から画像データを読み出させ、画像データの画像処理を行わせることができる。

このように、静止画撮影モードにおいて、画像処理装置１０は、サイズが大きく、高画質な画像を、高いフレームレートで処理できるように、電力消費量の抑制よりも画像処理能力を優先して、画像処理回路４０_ｉの動作を制御する。

第２に、動画撮影モードにおける、画像処理装置１０の動作について説明する。ここで、図５および図６は、動画撮影モードにおいて用いられる画像処理回路４０_ｉを説明するための図である。

動画撮影モードにおいては、サイズおよび画質が中程度の画像の画像処理が要求される傾向にある。また、動画撮影のため、中程度のフレームレートでの画像処理が要求される傾向にある。すなわち、動画撮影モードにおいては、静止画撮影モードよりも高い画像処理能力は必要とされないが、後述する画像再生モードまたはライブビューモードよりも高い画像処理能力が必要とされる傾向にある。

そこで、動画撮影モードにおいて、画像処理装置１０は、たとえば、図６に示すように、画像処理回路４０_ｉに対して、１２ビットのビット数に対応するデータ処理回路５０_２を用いて画像処理を行わせるとともに、ｂｕｆｆ０〜ｂｕｆｆ２の３つのバッファ回路７０_１〜７０_３のうち２つのバッファ回路７０_１，７０_２を用いて画像処理を行わせることができる。さらに、画像処理装置１０は、画像データについてフィルタ処理を行う場合には、たおてば、画像処理回路４０_ｉに、５×５画素のフィルタサイズに対応するフィルタ回路４０_２を用いて画像処理を行わせることができる。

さらに、動画撮影モードにおいて、画像処理装置１０は、たとえば図５に示すように、３つの画像処理列８０_１〜８０_３のうち２つの画像処理列８０_１，８０_２に画像処理を行わせるとともに、画像処理列８０_１，８０_２に含まれる一部の画像処理回路４０_３，４０_６のバイパス９０_３，９０_６をオンに設定することで、一部の画像処理回路４０_１，４０_２，４０_４，４０_５に画像処理を行わせることができる。

また、動画撮影モードにおいては、静止画撮影モードよりも画像処理の負荷は低くなるものと予想されるため、画像処理装置１０は、画像処理部２０_１から画像処理部２０_２に画像データを転送する場合に、たとえば図５に示すように、画像処理用メモリ３０を介さない第１データパスを用いて画像データを転送することができる。

このように、動画撮影モードでは、静止画像撮影モードと比べて、処理対象の画像のサイズおよび画質は低く、また、フレームレートも低いため、動画撮影モードに必要な画像処理能力を実現できる範囲内において、画像処理回路４０_ｉの動作を一部抑制することで、電力消費量の抑制を有効に図ることができる。

第３に、画像再生モードまたはライブビューモードにおける、画像処理装置１０の制御について説明する。ここで、図７および図８は、画像再生モードまたはライブビューモードにおいて用いられる画像処理回路４０_ｉを説明するための図である。

画像再生モードまたはライブビューモードにおいては、処理対象の画像のサイズは小さく、画質も低い傾向にあり、また、フレームレートも低い傾向にある。そのため、画像再生モードまたはライブビューモードにおいては、他の撮影モードと比べて、高い画像処理能力は必要とされない傾向にある。

そこで、画像再生モードまたはライブビューモードにおいて、画像処理装置１０は、たとえば図８に示すように、画像処理回路４０_ｉに、８ビットの画像データに対応するデータ処理回路５０_３を用いて画像処理を行わせるとともに、ｂｕｆｆ０〜ｂｕｆｆ２の３つのバッファ回路７０_１〜７０_３うち１つのバッファ回路７０_１を用いて画像処理を行わせることができる。さらに、画像処理装置１０は、画像データに対するフィルタ処理を行う場合に、たとえば、画像処理回路４０_ｉに、３×３画素のフィルタサイズに対応するフィルタ回路６０_３を用いて画像処理を行わせることができる。

さらに、画像処理装置１０は、たとえば図８に示すように、３つの画像処理列８０_１〜８０_３のうち１つの画像処理列８０_１に画像処理を行わせるとともに、画像処理列８０_１に含まれる一部の画像処理回路４０_２，４０_３のバイパス９０_２，９０_３をオンに設定することで、画像処理回路４０_１のみに画像処理を行わせることができる。

また、画像再生モードまたはライブビューモードにおいては、静止画撮影モードおよび動画撮影モードよりも画像処理の負担は低くなると予想されるため、画像処理装置１０は、画像処理部２０_１から画像処理部２０_２に画像データを転送する場合に、図７に示すように、画像処理用メモリ３０を介さない第１データパスを用いて画像データを転送することができる。

このように、画像再生モードまたはライブビューモードでは、静止画撮影モードおよび動画撮影モードと比べて画像処理負荷は低くなる傾向にある。そのため、静止画撮影モードおよび動画撮影モードよりも、画像処理に用いる画像処理回路４０_ｉの動作を制御することで、電力消費量を有効に低減することができる。

以上のように、第１実施形態に係る画像処理装置１０では、同一の画像処理を行う複数の画像処理回路４０_１〜４０_９を備え、また各画像処理回路４０_１〜４０_９は、同一の画像処理を行う複数のデータ処理回路５０_１〜５０_３、フィルタ処理回路６０_１〜６０_３、およびバッファ回路７０_１〜７０_３をそれぞれ有している。そして、第１実施形態では、静止画撮影モード、動画撮影モード、画像再生モード、およびライブビューモードを含む撮影モードのうち現在設定されている撮影モードに基づいて、画像処理に用いる画像処理回路４０_１〜４０_９、または、データ処理回路５０_１〜５０_３、フィルタ処理回路６０_１〜６０_３、バッファ回路７０_１〜７０_３を選択することで、撮影モードに応じた回路を用いて画像処理を行うことができるとともに、画像処理に不要な回路へのクロック周波数および電力供給を抑制することで、画像処理装置１全体の省電力化を適切に図ることができる。

さらに、本実施形態に係る画像処理装置１０は、複数の画像処理回路４０_ｉを含む複数の画像処理列８０_１〜８０_３を有しており、現在設定されている撮影モードに基づいて、画像処理に用いる画像処理列８０_１〜８０_３と、画像処理列８０_１〜８０_３に含まれる画像処理回路のうち画像処理に用いる画像処理回路４０_１〜４０_９とを選択する。また、本実施形態において、画像処理装置１０は、現在設定されている撮影モードに基づいて、画像処理用メモリ３０を介さずに画像データを画像処理部２０_１から画像処理部２０_２へと転送する第１データパスと、画像処理用メモリ３０を介して画像データを画像処理部２０_１から画像処理部２０_２へと転送する第２データパスとのうち、画像処理に用いるデータパスを選択する。これにより、撮影モードにより適した回路を用いて画像処理を行うことができるとともに、画像処理に不要な回路へのクロック周波数および電力供給を抑制することで、画像処理装置１０全体の省電力化をより適切に図ることができる。

《第２実施形態》
続いて、本発明の第２実施形態に係るカメラ１について説明する。第２実施形態に係るカメラ１は、図１に示すカメラ１と同様の構成を有し、以下に説明するように動作すること以外は、第１実施形態に係るカメラ１と同様に動作する。

すなわち、第２実施形態に係る画像処理装置１０は、図２に示すように、第１実施形態に係る画像処理装置１０と同様の構成を備えている。一方、第１実施形態では、静止画撮影モード、動画撮影モード、画像再生モード、およびライブビューモードを含む撮影モードに応じて、画像処理に用いる画像処理回路４０_ｉの動作を制御する構成を例示したが、第２実施形態に係る画像処理装置１０は、処理対象である画像のサイズ、画質、フレームレートの情報を取得し、取得した処理対象の画像のサイズ、画質、フレームレートに基づいて、画像処理回路４０_ｉの動作を制御する。

ここで、図９は、第２実施形態に係る画像処理回路４０_ｉの動作の制御方法を説明するための図である。たとえば、画像処理装置１０は、図９に示すように、処理対象の画像のサイズに基づいて、画像処理に用いるバッファ回路７０_１〜７０_３と画像処理部２０_１，２０_２間のデータ転送方法を制御する。

具体的には、画像処理装置１０は、処理対象の画像のサイズが小さいほど、画像データのデータ容量は小さくなるため、画像処理回路４０_ｉに、少ない数のバッファ回路７０_ｉを用いて画像処理を行わせ、また、画像処理部２０_１から画像処理部２０_２に画像データを転送する際に、画像処理用メモリ３０を介さない第１データパスを用いて、画像データを転送させる。

また、画像処理装置１０は、図９に示すように、処理対象の画像の画質に基づいて、画像処理に用いるデータ処理回路５０_１〜５０_３およびフィルタ回路６０_１〜６０_３の動作を制御する。たとえば、画像処理装置１０は、処理対象の画像の画質が低いほど、画像データのビット数（ビット精度）は小さくなる傾向にあるため、画像処理回路４０_ｉに、小さいビット数に対応するデータ処理回路５０_１〜５０_３を用いて画像処理を行わせる。また、画像処理装置１０は、画像データのフィルタ処理を行う場合に、処理対象の画像の画質が低いほど、画像処理回路４０_ｉに、小さいフィルタサイズ（フィルタ径）に対応するフィルタ回路６０_ｉを用いて画像処理を行わせる。

さらに、画像処理装置１０は、処理対象の画像の画質に基づいて、画像処理に用いる画像処理回路４０_ｉの数を制御する。たとえば、画像処理装置１０は、処理対象の画像の画質が低いほど、画像データのデータ量は小さくなる傾向にあるため、少ない数の画像処理回路４０_ｉに画像処理を行わせるようにバイパス９０_ｉのオン／オフを制御して、画像処理に用いる画像処理回路４０_ｉの数を制限する。

加えて、画像処理装置１０は、処理対象の画像の画質に基づいて、画像処理回路４０_ｉのクロック周波数を制御する。たとえば、画像処理装置１０は、処理対象の画像の画質が低いほど、画像データのデータ量は小さくなる傾向にあるため、画像処理回路４０_ｉのクロック周波数が低くなるように、クロック信号を発信するクロック発信回路（不図示）を制御する。

また、第２実施形態において、画像処理装置１０は、図９に示すように、フレームレートに基づいて、画像処理に用いるバッファ回路７０_１〜７０_３および画像処理列８０_１〜８０_３の動作を制御する。たとえば、画像処理装置１０は、フレームレートが低いほど（撮影間隔が長いほど）、画像処理に要する時間を長くすることができるため、画像処理回路４０_ｉに少ない数のバッファ回路７０_１〜７０_３を用いて画像処理を行わせ、あるいは、画像処理に用いる画像処理列８０_１〜８０_３の数を制限することができる。

さらに、画像処理装置１０は、図９に示すように、フレームレートに基づいて、画像処理回路４０_ｉのクロック周波数を制御する。たとえば、画像処理装置１０は、フレームレートが低いほど、画像処理に要する時間を長くすることができるため、画像処理回路４０_ｉのクロック周波数が低くなるように、クロック信号を発信するクロック回路（不図示）を制御することができる。

以上のように、第２実施形態では、処理対象の画像のサイズ、画質、およびフレームレートに基づいて、画像処理回路４０_ｉの動作を制御することで、処理対象の画像のサイズ、画質、およびフレームレートに適した画像処理を適切に実行することができるとともに、電力消費量の抑制を有効に図ることができる。

なお、第２実施形態においては、静止画撮影モード、動画撮影モード、画像再生モード、ライブビューモードごとに、処理対象の画像のサイズ、画質、およびフレームレートに基づく画像処理回路４０_iの抑制度合いを変えることができる。たとえば、処理対象の画像のサイズ、画質、およびフレームレートが同じ場合でも、ライブビューモードでは、静止画撮影モードと比べて、画像処理回路４０_iの動作を抑制する構成とすることができる。また、静止画撮影モード、動画撮影モード、画像再生モード、ライブビューモードなどの撮影モードに基づいて、処理対象の画像のサイズ、画質、およびフレームレートが決定される場合には、撮影モードに基づいて、第２実施形態に係る画像処理回路４０_iの制御を行うこともできる。

なお、上述した実施形態に加えて、他の画像処理機能を実行するか否かに基づいて、画像処理回路の動作を制御する構成とすることができる。たとえば、画像処理装置１０は、画像データの歪み補正機能を行う場合には、歪み補正機能に用いる画像処理回路４０に対して、所定のクロック周波数および電力を供給することで、歪み補正機能に用いる画像処理回路４０を動作させ、反対に、画像データの歪み補正機能を行わない場合には、歪み補正機能に用いる全ての画像処理回路４０に対して、所定のクロック周波数および電力供給を停止または低減することで、歪み補正機能に用いる画像処理回路４０の動作を抑制することができる。

また、上述した第１実施形態において、静止画撮影モードが設定されている場合に、さらに連写撮影モードであるか単写撮影モードであるかを判断し、連写撮影モードと単写撮影モードとで画像処理回路４０の動作を異ならせる構成としてもよい。たとえば、連写撮影モードにおいては、全ての画像処理回路４０へのクロック周波数および電力の供給を行うことで、全ての画像処理回路４０を用いて画像処理を行い、一方、単写撮影モードにおいては、一部の画像処理回路４０へのクロック周波数および電力の供給を停止または低減することで、一部の画像処理回路の動作を抑制し、電力消費量を抑制する構成とすることができる。

また、上述した実施形態では、画像処理回路４０_iが、データ処理回路５０_１〜５０_３、フィルタ回路６０_１〜６０_３、バッファ回路７０_１〜７０_３を３つずつ備える構成を例示したが、回路の数は特に限定されず、たとえば、１または２つの回路を備える構成としてもよいし、あるいは、４つ以上の回路を備える構成としてもよい。同様に、上述した実施形態では、画像処理列８０_ｉが３つの画像処理回路４０_ｉを有し、画像処理部２０が３つの画像処理列８０_１〜８０_３を有する構成を例示したが、画像処理列８０_ｉが１、２または４以上の画像処理回路４０_ｉを有し、また、画像処理部２０_ｉが１、２または４以上の画像処理列８０_ｉを有する構成としてもよい。さらに、上述した実施形態では、９つの画像処理回路４０_１〜４０_９を例示して説明したが、これらの数も特に限定されず、たとえば、１〜８の画像処理回路を備える構成としてもよいし、あるいは、１０以上の画像処理回路を備える構成としてもよい。

なお、本実施形態に係るカメラ１は、特に限定されず、例えば、一眼ミラーレスデジタルカメラ、デジタルコンパクトカメラ、デジタルビデオカメラ、携帯電話用のカメラなどのその他の光学機器に本実施形態の画像処理装置を適用してもよい。

１…カメラ
１００…カメラ本体
１１０…撮像素子
１７０…カメラ制御部
１０…画像処理装置
２０…画像処理部
３０…画像処理用メモリ
４０…画像処理回路
５０…データ処理回路
６０…フィルタ回路
７０…バッファ回路
８０…画像処理列
９０…バイパス
２００…レンズ鏡筒

Claims (15)

1. 画像処理機能を有する複数の画像処理回路を備えた画像処理装置であって、
   複数の撮影モードのうち現在設定されている撮影モード情報を取得する取得部と、
   前記取得部により取得された前記撮影モードに基づいて、前記複数の画像処理回路のうち、一部の画像処理回路の動作を抑制する制御部と、を備え、
   ２つの所定の画像処理回路の間に、メモリを介さずに画像データを転送するための第１データパスと、メモリを介して前記画像データを転送するための第２データパスとが設けられており、
   前記制御部は、設定された前記撮影モードによる画像処理負荷が第１負荷の場合は、前記第２データパスを用いて前記画像データを転送させ、前記画像処理負荷が前記第１負荷よりも負荷が小さい第２負荷の場合には、前記第１データパスを用いて前記画像データを転送させることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記制御部は、前記撮影モードに基づいて、前記複数の画像処理回路のうち、一部の画像処理回路のクロック周波数または電力供給を抑制することで、前記一部の画像処理回路の動作を抑制することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記複数の撮影モードは、静止画撮影モード、動画撮影モード、画像再生モード、およびライブビューモードのうちの複数を含むことを特徴とする画像処理装置。
4. 請求項１〜３のいずれかに記載の画像処理装置であって、
   前記制御部は、前記複数の画像処理回路の処理能力が異なる場合には、前記撮影モードの画像処理負荷が小さいほど、処理能力の高い画像処理回路の動作を抑制することを特徴とする画像処理装置。
5. 請求項１〜４のいずれかに記載の画像処理装置であって、
   前記制御部は、前記複数の画像処理回路が並行して前記画像処理を行うことができる場合には、前記撮影モードの画像処理負荷が小さいほど、多くの数の前記画像処理回路の動作を抑制することを特徴とする画像処理装置。
6. 請求項１〜５のいずれかに記載の画像処理装置であって、
   前記画像処理回路はバイパス経路を有しており、
   前記制御部は、前記バイパス経路を用いて、前記一部の画像処理回路へのクロック周波数または電力供給を制限することで、前記一部の画像処理回路の動作を抑制することを特徴とする画像処理装置。
7. 請求項１〜６のいずれかに記載の画像処理装置であって、
   前記複数の画像処理回路は、異なるビット数に対応する複数のデータ処理回路、異なるフィルタサイズに対応する複数のフィルタ回路、および複数のバッファ回路のうち、１つ以上の回路を含むことを特徴とする画像処理装置。
8. 画像処理機能を有する複数の画像処理回路を備える画像処理装置であって、
   処理対象の画像のサイズ、画質、およびフレームレートのうち１つ以上を含む画像情報を取得する取得部と、
   前記取得部により取得された前記画像情報に基づいて、前記複数の画像処理回路のうち
   、一部の画像処理回路の動作を抑制する制御部と、を備え、
   前記画像処理回路は複数のバッファ回路を有しており、
   前記制御部は、前記処理対象の画像のサイズが小さいほど、または、前記フレームレートが低いほど、多くの数の前記バッファ回路の動作を抑制することを特徴とする画像処理装置。
9. 画像処理機能を有する複数の画像処理回路を備える画像処理装置であって、
   処理対象の画像のサイズ、画質、およびフレームレートのうち１つ以上を含む画像情報を取得する取得部と、
   前記取得部により取得された前記画像情報に基づいて、前記複数の画像処理回路のうち
   、一部の画像処理回路の動作を抑制する制御部と、を備え、
   ２つの所定の画像処理回路の間に、メモリを介さずに画像データを転送するための第１データパスと、メモリを介して前記画像データを転送するための第２データパスとが設けられており、
   前記制御部は、前記処理対象の画像のサイズが第１サイズである場合は、前記第２データパスを用いて前記画像データを転送させ、前記処理対象の画像のサイズが前記第１サイズより小さい第２サイズである場合には、前記第１データパスを用いて前記画像データを転送させることを特徴とする画像処理装置。
10. 請求項８又は９に記載の画像処理装置であって、
    前記制御部は、前記画像情報に基づいて、前記複数の画像処理回路のうち、一部の画像処理回路のクロック周波数または電力供給を抑制することで、前記一部の画像処理回路の動作を抑制することを特徴とする画像処理装置。
11. 請求項８〜１０のいずれかに記載の画像処理装置であって、
    前記画像処理回路は異なるビット数に対応する複数のデータ処理回路を有しており、
    前記制御部は、前記処理対象の画像の画質が低いほど、大きいビット数に対応するデータ処理回路の動作を抑制することを特徴とする画像処理装置。
12. 請求項８〜１１のいずれかに記載の画像処理装置であって、
    前記画像処理回路は異なるフィルタサイズに対応する複数のフィルタ回路を有しており、
    前記制御部は、前記処理対象の画像の画質が低いほど、大きなフィルタサイズに対応するフィルタ回路の動作を抑制することを特徴とする画像処理装置。
13. 請求項８〜１２のいずれかに記載の画像処理装置であって、
    前記制御部は、前記処理対象の画像の画質が低いほど、または、前記フレームレートが低いほど、多くの数の前記画像処理回路の動作を抑制することを特徴とする画像処理装置。
14. 画像処理機能を有する複数の画像処理回路を備えた画像処理装置であって、
    ２つの所定の画像処理回路の間に、メモリを介さずに画像データを転送するための第１データパスと、
    前記メモリを介して前記画像データを転送するための第２データパスと、
    画像データに対する画像処理の負荷の大きさに基づいて、前記第１パスと前記第２パスとのいずれかを切り替えて画像データの転送を制御する制御部と、
    を備える画像処理装置。
15. 請求項１〜１４のいずれかに記載の画像処理装置を備えた撮像装置。
    

Images