JP2024089340A - 撮像装置及びその制御方法及びプログラム - Google Patents

Abstract

【課題】 撮像装置において選択された動作モードに応じて、各バスマスタによるメモリデバイスへのデータ転送帯域の効率を向上させる。
【解決手段】 複数の選択可能な動作モードを有する撮像装置であって、それぞれが、メモリデバイスを利用し、撮像部で得た撮像画像に係る処理を行う複数のバスマスタと、複数のバスマスタを制御する制御部とを有する。ここで、制御部は、選択された動作モードに応じて、各バスマスタが処理を実行する際に、処理するデータの種類ごとにＳＲＡＭとＤＲＡＭのいずれのメモリデバイスを利用するかを設定する。
【選択図】 図１

Description

本発明は、撮像装置及びその制御方法及びプログラムに関するものである。

デジタルカメラに代表される撮像装置は、撮影して得た画像データを画像処理回路により処理をした後、メモリカードなどの記録媒体に記録する。

このような撮像装置では、画像処理回路として半導体集積回路が使用される。画像処理用の集積回路は、ＣＰＵ（Central Processing Unit）や各種の画像処理を実行する画像処理モジュールと、データの書き込みやデータの読み出しのトランザクションを発行する複数のバスマスタとを有する。これらのバスマスタはデータバスに接続される。そして、各バスマスタは、バススレーブとして、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）などのデータを格納するメモリデバイスにアクセスすることにより、各種の処理を行う。

撮像装置は、動画データのような大量のデータを、決められた時間内で処理する必要がある。そのため、バスマスタと、ＤＲＡＭやＳＲＡＭなどのバススレーブとの間での高いデータ転送効率が求められる。

画像データをメモリに記憶する際のデータの転送帯域を向上する技術として、例えば、特許文献１には、画像データを連続する一定ライン数毎に振り分け、複数のメモリに対して分散して記憶する技術が開示されている。また、リアルタイム性能を要求する処理を実施するための技術として、例えば、特許文献２には、バスマスタがリアルタイム性能を要求する処理を実施するタイミングにおいて、競合するアクセスに対してより優先されるようにデータバスを調停する技術が開示されている。

特開２００８－４８２５８号公報 特開２００９－１８１２０３号公報

しかしながら、特許文献１は、処理するデータの帯域を確保するために、複数のメモリデバイスに帯域を分散させている。このため、データ処理のアクセスの特徴を鑑みた場合に改善の余地が残る。さらに、単純に使用するメモリデバイスを増やすということはコスト上昇も招く。また、特許文献２では、リアルタイム性能を要求する処理を実施するタイミングにおいて、より優先されるように調停するという構成であるため、特許文献１と同様にデータ処理のアクセスの特徴を鑑みた場合に改善の余地が残る。

本発明はかかる問題に鑑み成されたものであり、撮像装置において選択された動作モードに応じて、各バスマスタによるメモリデバイスへのデータ転送帯域の効率を向上させる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の撮像装置は以下の構成を備える。すなわち、
複数の選択可能な動作モードを有する撮像装置であって、
それぞれが、メモリデバイスを利用し、撮像部で得た撮像画像に係る処理を行う複数のバスマスタと、
前記複数のバスマスタを制御する制御部とを有し、
前記制御部は、選択された動作モードに応じて、各バスマスタが処理を実行する際に、処理するデータの種類ごとにＳＲＡＭとＤＲＡＭのいずれのメモリデバイスを利用するかを設定することを特徴とする。

本発明によれば、撮像装置において選択された動作モードに応じて、各バスマスタによるメモリデバイスへのデータ転送帯域の効率を向上させることが可能になる。

実施形態における撮像装置のブロック図。 実施形態におけるＤＲＡＭ制御部とＤＲＡＭ間のデータ転送時のコマンド発行期間とデータ転送期間のシーケンスを示す図。 実施形態における動作モード、データ種別ごとの格納先のメモリデバイスとの対応関係を示す図。 実施形態における動作モードとデータ種別ごとのメモリデバイスへのアクセスのタイミングチャートを示す図。 実施形態におけるＣＰＵの処理手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

図１は、本実施形態が適用するデジタルカメラに代表される撮像装置のブロック構成図である。

操作インタフェース１２２は、スイッチ、ボタン、タッチパネル等で構成される操作部１２３を介して、ユーザからの指示入力を、ＣＰＵ１０６に通知する。

撮影レンズ１０１は、被写体の光学像を、撮像素子１０３の撮像面に結像する。絞り１０２は、撮影レンズ１０１から入射した光の光量を調整する。撮像素子１０３は、撮像面に結像した光学像を電気信号に変換（光電変換）し、得られた電気信号をＡＦＥ（Analog Front End）１０４へ出力する。ＡＦＥ１０４は、入力された電気信号をデジタルの画像データに変換して、画像処理コア１００へ出力する。

次に、被写体の画像データを処理する画像処理コア１００の内部構成について説明する。以下に説明する画像処理コア１００の各処理ブロックはバスマスタとして機能する。また、後述のＤＲＡＭ１１７やＳＲＡＭ１１９はバススレーブとして機能する。また、画像処理コア１００は一つの半導体集積回路チップとして構成される。

補正部１０５は、ＡＦＥ１０４から受け取った画像データに対して、撮像素子１０３の固有の特性に基づいた補正処理を行う。カメラ信号処理部１０８は、画像データに対して、フィルタ処理や色変換などの現像処理を行う。ノイズリダクション部１０９は、画像データに対し、ノイズ除去処理を行う。リサイズ部１１０は、画像データに対して記録画像の画素数への変換と、後述する被写体解析部１０７の被写体検出処理に適した画素数に変換するリサイズ処理を行う。

静止画符号化部１１１は、静止画撮影モードにて撮像して得た静止画像データをＪＰＥＧ（Joint Photographic Experts Group）などの静止画記録時の画像フォーマットに変換する符号化処理を行う。動画符号化部１１２は、動画像撮影モードにて撮影した動画像データをＨ．２６４などの動画記録時の画像フォーマットに変換する符号化処理を行う。表示Ｉ／Ｆ１１３は、図示しない表示装置に対する画像出力の制御を行うためのインタフェース部であり、一例として、表示パネル、ＥＶＦ（Electronic View Finder）、ＨＤＭＩ（登録商標）（High Definition Multimedia Interface）などの信号のやり取りを行う。

記録Ｉ／Ｆ部１１４は、画像データを記録メディアへの記録、及び読出を行うためのインタフェース部である。記録メディアの一例として代表的なものとしてＳＤカード（Secure Digital Card）が挙げられる。ただし、記録メディアとしてはＳＤカードに限らず、ＵＳＢ（Universal Serial Bus）対応のメモリデバイスなどであっても構わない。後者の場合、記録Ｉ／Ｆ部１１４は、ＵＳＢインタフェースとなる。

被写体解析部１０７は、リサイズ部１１０でリサイズ処理された画像データに基づいて被写体が存在するか否かの判定、存在する場合はその被写体の位置とサイズの検出処理を行うことで、被写体の動きを追尾する処理を行う。さらに、被写体解析部１０７は、撮影レンズ１０１の焦点を調節するＡＦ（オートフォーカス）制御のためのパラメータ、絞り１０２の光量を調節するＡＥ（自動露出）制御のためのパラメータを算出し、それらを撮影制御部１１５へ出力する。

撮影制御部１１５は、ユーザの操作指示や被写体解析部１０７で処理される演算結果に基づいて、撮影レンズ１０１、絞り１０２、撮像素子１０３の駆動を制御する。ＣＰＵ（Central Processing Unit）１０６は、プログラムに基づいて画像処理コア１００全体の制御を行い、前述の各機能モジュールの動作パラメータの設定や実行を制御する。データバス１２１は、補正部１０５、ＣＰＵ１０６、被写体解析部１０７、カメラ信号処理部１０８、ノイズリダクション部１０９、リサイズ部１１０、静止画符号化部１１１、動画符号化部１１２、表示Ｉ／Ｆ１１３、記録Ｉ／Ｆ１１４といったバスマスタとなる機能モジュールと、ＤＲＡＭ制御部１１６、ＳＲＡＭ制御部１１８といったバススレーブとなる機能モジュール間とを接続するバスである。

ＤＲＡＭ制御部１１６は、前述のバスマスタが発行する書き込みトランザクション、または、読み出しトランザクションに基づいて、ＤＲＡＭ１１７に対するデータの書き込みと読み出しの制御を行う。

ＤＲＡＭ（Dynamic Random Access Memory）１１７は、画像処理コア１００と接続される容量の大きい揮発性の記憶装置である。実施形態におけるＤＲＡＭ１１７は、ＬＰＤＤＲ４ ＳＤＲＡＭ（Low Power Double Data Rate 4 Synchronous DRAM）といった規格のメモリデバイスである。ＤＲＡＭ１１７は、ＤＲＡＭ制御部１１６からの所定のコマンドによって制御され、ＤＲＡＭ制御部１１６とのデータのやり取りを行う。ＤＲＡＭ１１７は、画像処理コア１００とは別の、一つの半導体集積回路チップとして構成される。また、ＤＲＡＭ１１７は、前述のバスマスタとなる機能モジュールが処理する一時的な画像データやプログラムなどを格納するために使用される。

ＳＲＡＭ制御部１１８は、前述のバスマスタが発行する書き込みトランザクション、または、読み出しトランザクションに基づいて、ＳＲＡＭ（Static Random Access Memory）１１９に対するデータの書き込みと読み出しの制御を行う。ＳＲＡＭ１１９は、画像処理コア１００の半導体集積回路チップ内に内蔵される。そして、ＳＲＡＭ１１９は、ＤＲＡＭ１１７と比較して容量は小さいものの、低レイテンシで高速にアクセス可能なメモリデバイスである。そして、ＳＲＡＭ１１９は、ＤＲＡＭ１１７と同様に、前述のバスマスタとなる機能モジュールが処理する一時的な画像データやプログラムなどを格納するために使用される。

一般に、ＤＲＡＭやＳＲＡＭといったメモリデバイスは、そのデータバス幅と動作周波数によって、データの転送帯域の理想的な上限が定まる。近年の高速データ転送の方式には、一種のアドレス情報を元にデータを連続して転送するバースト転送が用いられ、バースト転送におけるデータ転送長を長くすることによって、データ転送帯域の効率の向上が図られている。

ＤＲＡＭにアクセスするためには、データ転送を行う前段階で、ＤＲＡＭ内のアクセス先のバンクを開くコマンドや、データの書き込み、読み出しの種類を指定するコマンドなどを発行する必要がある。したがって、一度に転送するデータ転送量が大きい場合と小さい場合を比較すると、データ転送量が小さい場合ではデータ転送前に発行するコマンドによるオーバーヘッドが相対的に大きく、データ転送帯域の効率を低下させるという問題がある。換言すれば、データ転送量が少なくなる短いバースト長の転送よりも、データ転送量が多くなる長いバースト長の転送の方が、データ転送帯域が向上する。

一方、リアルタイム性能を要求するバスマスタの性質によっては、データ転送帯域だけではなく、バススレーブに対して短いレイテンシでアクセス可能であることも重要である。そこで、リアルタイム性能を要求するバスマスタのアクセスを優先してデータ転送できるように優先度付けを行えるデータバスの構成が知られている。

次に図２（ａ），（ｂ）を参照して、ＤＲＡＭ１１７のデータ転送における転送帯域について説明する。

図２（ａ），（ｂ）は、ＤＲＡＭ制御部１１６が、リサイズ部１１０、被写体解析部１０７、撮影制御部１１５、表示Ｉ／Ｆ１１３等のバスマスタからの要求に応じて、ＤＲＡＭ１１７との間で交わされるコマンドとデータのシーケンスを示している。図２（ａ），（ｂ）における水平右方向が時間の流れを示している。ここで、コマンドやデータは、図示しないクロック信号に同期して振幅する電気信号である。

一般的なＤＲＡＭデバイスを用いてデータを転送する際に、ＤＲＡＭ制御部１１６は、図２（ａ）に示すように、アクティブコマンドＡＣＴ２０１を発行し、ロウアドレスを指定して、ＤＲＡＭ内のアクセス先のバンクを開く。そして、ＤＲＡＭ制御部１１６は、データの書き込み、もしくは読出を指示するコマンド２０２を発行する。書き込みコマンドはＷＲコマンド、読出しコマンドはＲＤコマンドとして表記される。また、ＤＲＡＭ制御部１１６は、コマンド２０２を発行する際、ＤＲＡＭ１１７に対してカラムアドレスを指定する。その後、図２（ａ）の参照符号２０３に示すように、実際のデータ転送が行われる。最後に、ＤＲＡＭ制御部１１６は、プリチャージコマンドＰＲＥ２０４を発行し、一連のデータ転送のトランザクションが終了する。

全期間でデータ転送を行うことができれば、理想的なデータ転送帯域を上限まで使えることになる。しかし実際には、ＤＲＡＭ１１７へのメモリアクセスにおいては、前述のコマンド発行によるオーバーヘッド期間が必ず生じる。図２（ａ）に示すように、或るデータ容量を転送するために必要な時間は、ＡＣＴコマンド２０１とＷＲ／ＲＤコマンド２０２のコマンド発行期間２０５と、実際のデータ転送期間２０６、そして、プリチャージコマンドＰＲＥ２０４のコマンド発行期間２０７の合計である。このように、データ転送する場合は、必ずコマンド発行期間２０５，２０７が含まれるため、実際のデータ転送帯域は理想的なデータ転送帯域よりも低くなる。

次に、ＤＲＡＭ１１７上の連続するアドレス空間の領域から、比較的長い転送期間にわたってデータ読み出しを行う例を、図２（ｂ）を参照して説明する。

まず、ＤＲＡＭ制御部１１６は、データを転送する際に、アクティブコマンドＡＣＴ（図２の２０８）を発行し、ロウアドレスを指定することで、ＤＲＡＭ１１７内のアクセス先のバンクを開く。次いで、ＤＲＡＭ制御部１１６は、複数回のＲＤコマンド（図示の参照符号２０９Ａ．２０９Ｂ，２０９Ｃ）を発行することで、同じロウアドレスのアクセス先のバンクからのデータの読み出しを指示する。なお、図２（ｂ）では、ＲＤコマンドを３回発行する例を示しているが、同じロウアドレス内のアクセスであれば、その回数に特に制限はない。

同じロウアドレスからのデータの読み出しであるため、プリチャージコマンド２１１の発行タイミング２１１は、複数のＲＤコマンドの発行による読出しデータ転送が終えた後となる。そのため、ＲＤコマンド２０９Ａ～２０９Ｃの発行と平行して、読み出しデータの転送が行われる。最後に、ＤＲＡＭ制御部１１６は、プリチャージコマンドＰＲＥを発行することで、この一連のデータ転送のトランザクションを終了する。

図２（ｂ）に示すように、データ２１０を転送するために必要となる時間は、図２（ａ）と同様、コマンド発行期間（図２の２１２、２１４）とデータ転送期間（図２の２１３）の合計である。しかし、図２（ｂ）のデータ２１０を転送するために必要となる時間に対する、実際のデータ転送期間２１３の割合は、図２（ａ）のそれと比較して、十分に大きい。

上記の通り、ＤＲＡＭアクセスにおいて、前述のバスマスタが発行するメモリアクセスのバースト長が短いほど、コマンド発行期間に対するデータ転送期間の割合が小さくなり、データ転送効率が低い。換言すれば、メモリアクセスのバースト長が長いほど、コマンド発行期間に対するデータ転送期間が示す割合が大きくなり、データ転送効率が高いという特徴がある。

本実施形態における、リサイズ部１１０、被写体解析部１０７、撮影制御部１１５、表示Ｉ／Ｆ１１３等の各バスマスタは、状況に応じて、データ転送に利用する対象として、ＤＲＡＭ１１７，ＳＲＡＭ１１９を切り替える。以下は、その具体例である。

図３（ａ）～（ｃ）は、本実施形態における撮像装置が被写体を撮影するときの後述する各動作モードにおけるデータ処理の種別と、そのデータの主要な読出元もしくは書き込み先のメモリデバイスと、そのデータのバースト長との関係を表すテーブルである。

テーブル中のデータ種別の項目の「ＡＦ評価処理」は、被写体解析部１０７が画像データから算出する焦点の合焦の程度を示す値を算出するための処理を示している。「追尾評価処理」は、被写体解析部１０７が画像データから算出する被写体の動きを追尾するときの特徴量の算出処理を示している。「座標処理」は、被写体解析部１０７が、撮像して得た画像データに含まれる被写体の画像データ中の位置情報の算出処理、視覚的にユーザに通知する処理のためのデータ処理である。「ＡＥ評価処理」は、被写体解析部１０７が、撮像して得た画像データから、光量の程度を算出するための処理である。

まず、これらのデータ種別毎の処理に対する、画像処理コア１００内のデータフローの概略について説明する。

前述の撮像素子１０３を起点として、ＡＦＥ１０４、補正部１０５を介して得られる画像データ（撮像画像データ）は、ＤＲＡＭ１１７に格納される。例えば、撮影待機状態においては、撮像素子１０３により複数画面の画像データが連続して撮影され、順次画像処理コア１００に送られる。画像処理コア１００では、連続して送られる画像データを処理し、ライブビュー画像として表示IF１１３を介して表示する。また、操作部１２３により静止画の撮影指示があると、撮像素子１０３により１画面の静止画を撮影し、静止画の画像データが画像処理コア１００で処理されて記録される。また、操作部１２３より動画撮影の指示があると、撮像素子１０３により動画の撮影を行い、画像データが画像処理コア１００で処理されて記録される。

被写体解析部１０７は、ＤＲＡＭ１１７に格納される撮像画像データから、複数の測距点に対応する位置の矩形状画像を切り出し、それら複数の矩形状画像データを読み出す。被写体解析部１０７は、読み出した複数の矩形状の画像データを用いて合焦位置を決めるためのコントラスト情報を算出し、算出したコントラスト情報を、動作モードに応じたメモリデバイス（ＤＲＡＭ１１７、ＳＲＡＭ１１９のいずれか）に書き込む。

撮影制御部１１５は、動作モードに応じたメモリデバイス（被写体解析部１０７が書き込みを行ったメモリ）から、複数のコントラスト情報と後述する被写体の動きを追尾する特徴量を読み出し、それらに基づいて画像中の合焦対象の位置を決定する。撮影制御部１１５は、決定した位置に合焦するよう、レンズ１０１を駆動する。これが前述のＡＦ評価処理である。

上記の通り、被写体解析部１０７がコントラスト情報を書き込む対象のメモリデバイスと、撮影制御部１１５がコントラスト情報の読み出す対象のメモリデバイスは一致する。このメモリデバイスに対する書き込み部と読出部との関係は以下での同様であると理解されたい。

リサイズ部１１０は、ＤＲＡＭ１１７に格納される撮像画像データを読み出し、動作モードに応じた画素数に縮小し、縮小された画像データを生成する。そして、リサイズ部１１０は、縮小後の画像データを、被写体解析部１０７による後述する追尾評価値の算出に用いる中間データとして、動作モードに応じたメモリデバイスに書き込む。続いて、被写体解析部１０７は、リサイズ部１１０によって縮小後のデータが書き込まれたメモリデバイスから、縮小後の画像データの一部を矩形状に切り出し、その切り出した画像データを読み出す。被写体解析部１０７は、読み出した矩形状の画像データを用いた相関演算により被写体の動きを追尾する特徴量を算出する。そして、被写体解析部１０７は、算出した特徴量の値を示すデータを、動作モードに対応するメモリデバイスに書き込む。これが前述の追尾評価処理である。

同時に、被写体解析部１０７は、読み出した矩形状の画像データを用いて、被写体の画像データ中の位置を示す座標データを算出する。そして、被写体解析部１０７は、算出した座標データを、動作モードに対応するメモリデバイスに書き込む。表示Ｉ／Ｆ１１３は、動作モードに対応するメモリデバイスから読み出した被写体の座標データに基づいて、ＤＲＡＭ１１７から読み出した画像データ中の位置を示す情報に基づいて視覚的な画像データを生成し、表示パネルに出力する。これにより、撮影する被写体の画像データ中の注目位置をユーザに通知する。これが前述の座標処理である。

また、被写体解析部１０７は、ＤＲＡＭ１１７に格納される画像データを読み出し、画像データ中の輝度分布を算出し、光量を調節するためのパラメータを生成する。そして、被写体解析部１０７は、生成したパラメータを、撮影制御部１１５へ出力する。撮影制御部１１５は、光量を調節するためのパラメータに基づいて絞り１０２を駆動する。これが前述のＡＥ評価処理である。

図３（ａ）～（ｃ）の各テーブルにおける「対象メモリデバイス」の項目は、前述の各データ種別が、動作モード毎にＤＲＡＭ１１７とＳＲＡＭ１１９のいずれに格納するデータとするかを示す。図３（ａ）～（ｃ）の「メモリアクセスにおける主たるバースト長の長さ」の項目は、前述の各データ種別に対応した処理で扱うデータがメモリに読み書きされる際の、動作モード毎のバースト長の特徴を示す。画像データにおいて水平方向に連続するデータをＤＲＡＭの同じロウアドレスに格納することにより、バースト長を長くすることができる。しかし、前記のように、一部の画像データを矩形状に切り出して読み出す際には、矩形の大きさによっては、一つの矩形の画素のデータが異なるロウアドレスにまたがって格納されている場合がある。このような場合、矩形の画像データを読み出す際に、バースト長の短い読み出しアクセスとなる。また、被写体解析部１０７は、動作モードに応じて処理する演算の処理単位や、分散して配置される非連続なデータの読み出し、書き込みに応じて、メモリアクセス時のバースト長を変える。

本実施形態における撮像装置が被写体を撮影するときの動作モードについて図３（ａ）～（ｃ）それぞれを参照して説明する。なお、図３（ａ）～（ｃ）それぞれのテーブルと、各テーブルと動作モードとの対応関係を示す情報は、画像処理コア１００内の不図示のメモリ（ＲＯＭ等）に予め格納されているものとする。

図３（ａ）～（ｃ）のいずれの動作モードも、ユーザによる操作部１２３からの選択指示で一意に設定される。図３（ａ）の通常モードは、一般的なユーザの使い方に合わせた動作モードであり、動きが予め設定された速度以下であって所定数以下（１から３人程度）の被写体を検出する標準の動作モードである。通常モードでは、ＡＦ評価処理で扱うデータを格納するメモリデバイスとしてＳＲＡＭ１１９が選択され、追尾評価処理、座標処理、ＡＥ評価処理で扱うデータを格納するメモリデバイスとしてＤＲＡＭ１１７が選択されることを示している。つまり、ＣＰＵ１０６は、操作部１２３を介してユーザから指示された動作モードが通常モードであるとき、図３（ａ）のテーブルに従って、その動作モードで稼働することになる各バスマスタに、処理の種別と利用するメモリデバイスを設定する。

図３（ｂ）の被写体多数検出モードは、通常モードよりも多数の動く被写体を検出して表示することを優先する動作モードである。被写体解析部１０７は、撮影する画像データの中から多数の被写体を検出して、表示Ｉ／Ｆ１１３に出力するため、多数の小容量の座標値のデータを扱うメモリアクセス、すなわちバースト長の短いメモリアクセスが増加する。ＤＲＡＭ１１７に対してバースト長の短いアクセスが増加すると、前述したようにデータ転送帯域の効率が低下するため、ＳＲＡＭ１１９にデータを格納してアクセスした方が、撮像装置のシステム全体のデータ転送帯域の効率改善に適する。そこで、被写体多数検出モードでは、座標処理で扱うデータを格納するメモリデバイスとしてＳＲＡＭ１１９が選択される。そして、ＡＦ評価処理、追尾評価処理、ＡＥ評価処理で扱うデータを格納するメモリデバイスとしてＤＲＡＭ１１７が選択される。

図３（ｃ）の高速被写体検出モードは、通常モードよりも高速に動く被写体を検出して、追尾することを優先する動作モードである。被写体解析部１０７は、撮影する画像データの中から高速に動く被写体を検出・追尾する処理をするために、画像データの中から被写体を探索する範囲を広げる。被写体の探索範囲を広げるために、多数の矩形状の画像データを読み出す多数のメモリアクセス、すなわちバースト長の短いメモリアクセスが増加する。図３（ｂ）の説明と同様に、バースト長の短いアクセスでは、ＳＲＡＭ１１９にデータを格納してアクセスした方が、撮像装置のシステム全体のデータ転送帯域の効率改善に適する。そこで、高速被写体検出モードでは、追尾評価処理で扱うデータを格納するメモリデバイスとしてＳＲＡＭ１１９が選択される。また、ＡＦ評価処理、座標処理、ＡＥ評価処理で扱うデータを格納するメモリデバイスとしてＤＲＡＭ１１７が選択される。尚、本実施形態では、図３（ａ）～（ｃ）のいずれの動作モードにおいても、ＡＥ評価処理で扱うデータはＤＲＡＭ１１７に格納する。

図４（ａ）～（ｃ）は、被写体解析部１０７が処理する各データ種別の主要なメモリアクセスのタイミングチャートを示す。同図での水平軸が時間軸である。フレーム同期信号は、画像処理コア１００が周期的に１枚の画像データを取り込むタイミングを示す。例えば、撮像フレームレートが３０ｆｐｓである場合は、２つの隣接するフレーム同期信号間の時間は１／３０秒である。

図４（ａ）～（ｃ）の各動作モードは、図３（ａ）～（ｃ）の各動作モードに対応する。つまり、図４（ａ）の通常モードでは、被写体解析部１０７は、ＡＦ評価値を処理するためにＳＲＡＭ１１９にアクセスし、ＡＥ評価値、追尾評価値、座標値を処理するためにＤＲＡＭ１１７にアクセスする。同様に、図４（ｂ）の被写体多数検出モードでは、被写体解析部１０７は、座標値を処理するためにＳＲＡＭ１１９にアクセスし、ＡＦ評価値、ＡＥ評価値、追尾評価値を処理するためにＤＲＡＭ１１７にアクセスする。図４（ｃ）の高速被写体検出モードでは、被写体解析部１０７は、追尾評価値を処理するためにＳＲＡＭ１１９にアクセスし、ＡＦ評価値、ＡＥ評価値、座標値を処理するためにＤＲＡＭ１１７にアクセスする。

図４（ａ）～（ｃ）のいずれの時間軸上においても、ＳＲＡＭ１１９へのアクセスとＤＲＡＭ１１７へのアクセスが競合するタイミングがあるが、前述のように、ＳＲＡＭ１１９には主にバースト長の短いメモリアクセスが集中し、ＤＲＡＭ１１７には主にバースト長の長いメモリアクセスが集中する。従って、ＤＲＡＭアクセスの場合にデータ転送効率が低くなるバースト長の短いメモリアクセスをＳＲＡＭアクセスに代えて退避させることができ、システム全体のデータ転送効率が向上する。

上記処理を実現するため、実施形態におけるＣＰＵ１０６の動作処理を図５のフローチャートを参照して説明する。なお、同図のフローチャートに係るプログラムは、画像処理コア１００内の内部メモリ（ＲＯＭ）に予め格納されているものである。図５のフローチャートは、撮影待機状態において実行され、図５の処理により設定された各バスマスタがアクセスするメモリは、他のモードにおいてもそのまま維持される。

Ｓ１０１にて、ＣＰＵ１０６は、操作部１２３を介して、ユーザからの指示を入力する。そして、Ｓ１０２にて、ＣＰＵ１０６は、ユーザからの指示が動作モードに係る指示か、それ以外の指示であるかを判定する。ＣＰＵ１０６は、入力した指示が動作モード以外の指示入力であると判定した場合は処理をＳ１０３に処理を進める。Ｓ１０３にて、ＣＰＵ１０６は、入力した指示に応じた処理を実行し、本処理を終える。なお。Ｓ１０３の処理には、様々なものが含まれるが、それらは実施形態の主眼から外れるので、ここでの説明は省略する。

一方、Ｓ１０２にて、ＣＰＵ１０６は、入力した指示が動作モードの指示入力であると判定した場合、処理をＳ１０４に進める。Ｓ１０４にて、ＣＰＵ１０６は、画像処理コア１００のＲＯＭから、選択した動作モードに応じたデータ種別とメモリデバイスとの対応関係を示す情報を読み出す。そして、Ｓ１０５にて、ＣＰＵ１０６は、ＳＲＡＭ１１９，ＤＲＡＭ１１７に対してアクセスする各バスマスタに対し、データ処理と、そのデータ処理時にＳＲＡＭ１１９，ＤＲＡＭ１１７のいずれのメモリデバイスを利用するかを設定し、本処理を終える。

以上により、本実施形態の撮像装置は様々な動作モードにおいて、メモリアクセスのバースト長の特性に応じて、処理するデータの格納先としてＤＲＡＭ１１７、ＳＲＡＭ１１９を使い分け、システム全体の効率の良いデータ転送を実現することができる。また、ＳＲＡＭは低レイテンシで高速にアクセス可能なため、ＤＲＡＭに対するバースト長の短いメモリアクセスを肩代わりするだけでなく、リアルタイム処理の性能も向上できる。なお、本実施形態ではメモリデバイスにアクセスするバスマスタの一例として、被写体解析部１０７の処理を用いて説明したが、メモリアクセスのバースト長の特性に応じて好適なメモリデバイスにデータを配置する構成であればよく、特定のバスマスタや特定の処理に限定されるものではない。

以上説明したように、本実施形態によれば、撮像装置において選択された動作モードに応じて、各バスマスタによるメモリデバイスへのデータ転送帯域の効率を向上させることが可能になる。したがって、撮像画像の更なる高解像度化、高フレームレート化に対しても、十分に対処できるようになる。

なお、上記実施形態では、選択可能な動作モードとして、通常モード、被写体多数検出モード、高速被写体検出モードの３つを例示したが、動作モードの種類及びその数に特に制限はない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本明細書の開示は、以下の撮像装置、方法及びプログラムを含む。
（項目１）
複数の選択可能な動作モードを有する撮像装置であって、
それぞれが、メモリデバイスを利用し、撮像部で得た撮像画像に係る処理を行う複数のバスマスタと、
複数のバスマスタそれぞれを制御する制御部とを有し、
前記制御部は、選択された動作モードに応じて、各バスマスタが処理を実行する際に、処理するデータの種類ごとにＳＲＡＭとＤＲＡＭのいずれのメモリデバイスを利用するかを設定する
ことを特徴とする撮像装置。
（項目２）
前記制御部は、前記複数のバスマスタに対し、処理するデータの種類に応じたデータ転送に係るバースト長に基づき、ＳＲＡＭとＤＲＡＭのいずれのメモリデバイスを利用するかを設定する
ことを特徴とする項目１に記載の撮像装置。
（項目３）
前記複数のバスマスタ、前記制御部、及び、前記ＳＲＡＭは、一つの半導体集積回路チップに含まれ、
前記ＤＲＡＭは、前記半導体集積回路チップの外に接続される
ことを特徴とする項目１又は２に記載の撮像装置。
（項目４）
前記動作モードには、
動きが予め設定された速度以下であって所定数以下の被写体を検出する通常モード、
前記所定数を超える被写体を検出する被写体多数検出モード、
前記予め設定された速度を超える被写体を検出する高速被写体検出モード
が含まれることを特徴とする項目１乃至３のいずれか１つに記載の撮像装置。
（項目５）
前記複数のバスマスタには、少なくとも、
前記撮像部で得た撮像画像をリサイズするリサイズ部、
前記撮像部で得た撮像画像を解析し、被写体を検出す被写体解析部、
前記撮像部で得た撮像画像に対してノイズ除去処理を行うカメラ信号処理部、
前記撮像部を制御する撮像制御部、
画像データを静止画として符号化する静止画符号化部、
画像データを動画像として符号化する動画符号化部、
が含まれることを特徴とする項目１乃至４のいずれか１つに記載の撮像装置。
（項目６）
それぞれが、メモリデバイスを利用し、撮像部で得た撮像画像に係る処理を行う複数のバスマスタと、
複数のバスマスタそれぞれを制御する制御部とを有し、
複数の選択可能な動作モードを有する撮像装置の制御方法であって、
選択された動作モードに応じて、各バスマスタが処理を実行する際に、処理するデータの種類ごとにＳＲＡＭとＤＲＡＭのいずれのメモリデバイスを利用するかを設定する工程
を有することを特徴とする撮像装置の制御方法。
（項目７）
コンピュータが読み込み実行することで、項目６に記載の方法が有する工程を実行させるためのプログラム。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１…レンズ、１０３…撮像素子、１０４…ＡＦＥ、１００…画像処理コア、１１６…ＤＲＡＭ制御部、１１７…ＤＲＡＭ、１１８…ＳＲＡＭ制御部、１１９…ＳＲＡＭ、１２３…操作部

Claims (7)

1. 複数の選択可能な動作モードを有する撮像装置であって、
   それぞれが、メモリデバイスを利用し、撮像部で得た撮像画像に係る処理を行う複数のバスマスタと、
   前記複数のバスマスタを制御する制御部とを有し、
   前記制御部は、選択された動作モードに応じて、各バスマスタが処理を実行する際に、処理するデータの種類ごとにＳＲＡＭとＤＲＡＭのいずれのメモリデバイスを利用するかを設定する
   ことを特徴とする撮像装置。
2. 前記制御部は、前記複数のバスマスタに対し、処理するデータの種類に応じたデータ転送に係るバースト長に基づき、ＳＲＡＭとＤＲＡＭのいずれのメモリデバイスを利用するかを設定する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記複数のバスマスタ、前記制御部、及び、前記ＳＲＡＭは、一つの半導体集積回路チップに含まれ、
   前記ＤＲＡＭは、前記半導体集積回路チップの外に接続される
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記動作モードには、
   動きが予め設定された速度以下であって所定数以下の被写体を検出する通常モード、
   前記所定数を超える被写体を検出する被写体多数検出モード、
   前記予め設定された速度を超える被写体を検出する高速被写体検出モード
   が含まれることを特徴とする請求項１に記載の撮像装置。
5. 前記複数のバスマスタには、少なくとも、
   前記撮像部で得た撮像画像をリサイズするリサイズ部、
   前記撮像部で得た撮像画像を解析し、被写体を検出す被写体解析部、
   前記撮像部で得た撮像画像に対してノイズ除去処理を行うカメラ信号処理部、
   前記撮像部を制御する撮像制御部、
   画像データを静止画として符号化する静止画符号化部、
   画像データを動画像として符号化する動画符号化部、
   が含まれることを特徴とする請求項１に記載の撮像装置。
6. それぞれが、メモリデバイスを利用し、撮像部で得た撮像画像に係る処理を行う複数のバスマスタと、
   前記複数のバスマスタを制御する制御部とを有し、
   複数の選択可能な動作モードを有する撮像装置の制御方法であって、
   選択された動作モードに応じて、各バスマスタが処理を実行する際に、処理するデータの種類ごとにＳＲＡＭとＤＲＡＭのいずれのメモリデバイスを利用するかを設定する工程
   を有することを特徴とする撮像装置の制御方法。
7. コンピュータが読み込み実行することで、請求項６に記載の方法が有する工程を実行させるためのプログラム。