JP5820720B2

JP5820720B2 - 撮像装置

Info

Publication number: JP5820720B2
Application number: JP2011286027A
Authority: JP
Inventors: 知行仙石; 田中　義信; 義信田中; 崇志梁田; 上野　晃; 晃上野
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-12-27
Filing date: 2011-12-27
Publication date: 2015-11-24
Anticipated expiration: 2031-12-27
Also published as: US8908060B2; JP2013135408A; US20130162873A1

Description

本発明は、撮像装置に関する。

近年のデジタルカメラなどの撮像装置には、自動焦点（ＡｕｔｏＦｏｃｕｓ：ＡＦ）の機能が搭載されている。従来の撮像装置においてＡＦの機能を実現する方法としては、固体撮像装置（以下、「イメージセンサ」という）から出力される画素信号に基づいてフォーカスレンズの位置を一定方向に順次移動することによって被写体への合焦位置を検出する山登り制御を用いた、いわゆる、イメージャＡＦが知られている。イメージャＡＦでは、イメージセンサからリアルタイムに出力される画素信号に基づいて、ＡＦの制御を行うためのＡＦ評価値を生成し、生成したＡＦ評価値に基づいて、フォーカスレンズの位置を制御している（特許文献１参照）。

図１０は、従来の撮像装置の概略構成を示したブロック図である。図１０において、撮像装置は、イメージセンサと、撮像処理部と、画像処理部と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）コントローラと、ＤＲＡＭと、表示処理部と、表示デバイスと、ＣＰＵと、を備えている。そして、撮像装置に備えた撮像処理部、画像処理部、表示処理部、ＣＰＵ、およびＤＲＡＭコントローラは、共通のデータバスに接続され、それぞれの構成要素が処理を行う際のデータの受け渡しを、データバスを介して行っている。また、図１０には、撮像処理部内の概略構成も併せて示している。図１０において撮像処理部は、撮像ＩＦ（インターフェース）部と、前処理部と、ＡＥ評価値生成部と、ＡＷＢ評価値生成部と、ＡＦ評価値生成部と、出力ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）部と、を備えている。

図１０に示した従来の撮像装置では、撮像ＩＦ部が、イメージセンサから画素信号を取り込み、取り込んだ画素信号を画像データとして前処理部に出力する。前処理部は、撮像ＩＦ部から入力された画像データに様々な処理を施す。図１０には、それぞれの処理を行う処理部を３つ備えた前処理部の一例を示している。前処理部は、それぞれの処理部が順次処理を施した最終の画像データを、ＡＥ評価値生成部、ＡＷＢ評価値生成部、ＡＦ評価値生成部、および出力ＤＭＡ部のそれぞれに出力する。

出力ＤＭＡ部は、前処理部から入力された画像データを、ＤＲＡＭコントローラを介してＤＲＡＭに格納する。ここでＤＲＡＭに格納された画像データが、後に、画像処理部によって画像処理される元の画像データになる。

また、ＡＦ評価値生成部は、前処理部から入力された画像データに基づいて、ＡＦ評価値を生成する。ＡＦ評価値生成部は、生成したＡＦ評価値を、ＤＲＡＭコントローラを介してＤＲＡＭに格納する。ＣＰＵは、ＤＲＡＭに格納されているＡＦ評価値を用いて、従来の撮像装置におけるＡＦの制御、すなわち、フォーカスレンズの位置の制御を行う。

また、ＡＥ評価値生成部およびＡＷＢ評価値生成部は、従来の撮像装置におけるＡＦ以外の撮影に関する制御として、自動露出（ＡｕｔｏＥｘｐｏｓｕｒｅ：ＡＥ）およびオートホワイトバランス（ＡｕｔｏＷｈｉｔｅＢａｌａｎｃｅ：ＡＷＢ）などの制御を行うための評価値を生成する評価値生成部である。ＡＥ評価値生成部およびＡＷＢ評価値生成部のそれぞれは、ＡＦ評価値生成部と同様に、前処理部から入力された画像データに基づいて、ＡＥ評価値およびＡＷＢ評価値をそれぞれ生成し、生成したＡＥ評価値およびＡＷＢ評価値を、ＤＲＡＭコントローラを介してＤＲＡＭに格納する。ＣＰＵは、ＤＲＡＭに格納されているＡＥ評価値およびＡＷＢ評価値を用いて、従来の撮像装置におけるＡＥおよびＡＷＢの制御を行う。

なお、ＡＦ評価値生成部、ＡＥ評価値生成部、およびＡＷＢ評価値生成部のそれぞれが、生成したＡＦ評価値、ＡＥ評価値、およびＡＷＢ評価値をＤＲＡＭに格納せず、生成した評価値を、それぞれの評価値生成部内のレジスタに保持する構成の場合もある。このような構成の場合には、ＣＰＵは、それぞれの評価値生成部から評価値の生成が完了したことを表す通知を受け取った後に、それぞれの評価値生成部内のレジスタに保持しているそれぞれの評価値を読み出し、読み出したそれぞれの評価値を用いて、撮像装置におけるＡＦ、ＡＥ、およびＡＷＢの制御を行う。

このような構成によって、従来の撮像装置では、イメージセンサから画素信号を取り込む毎に、ＡＦ評価値、ＡＥ評価値、およびＡＷＢ評価値を生成し、撮像装置における撮影に関する制御を行っている。

また、従来の撮像装置においては、ＡＦ機能の高速化、すなわち、合焦速度の高速化の要望がある。このため、従来のイメージャＡＦを搭載した撮像装置では、合焦速度の高速化を実現するための方法として、イメージセンサから画素信号を読み出す速度を高速化する、すなわち、フレームレートを高める方法が採用されている。これは、イメージセンサから画素信号を取り込む毎に、すなわち、撮像したフレーム毎に１つ得られるＡＦ評価値を、フレームレートを高くすることによって、より多く得ようとするものである。

しかし、イメージセンサから取り込んだ各フレームの画素信号は、ＡＦ評価値などの、撮像装置における撮影に関する制御のみに利用されているものではない。例えば、従来の撮像装置には、撮影する被写体を確認するための動画を、撮像装置に搭載されたＴＦＴ（薄膜トランジスター：ＴｈｉｎＦｉｌｍＴｒａｎｓｉｓｔｏｒ）液晶ディスプレイやＥＶＦ（電子ビューファインダ：ＥｌｅｃｔｒｏｎｉｃＶｉｅｗＦｉｎｄｅｒ）などの表示デバイスに表示させる、いわゆる、ライブビュー機能が搭載されている。このライブビュー機能では、イメージセンサから取り込んだ各フレームの画素信号から表示デバイスに表示するための各フレームの画像データを生成し、各フレームの画像データを、フレーム毎に順次表示デバイスに表示している。

ところが、ＴＦＴやＥＶＦなどの表示デバイスでは、画像を表示することができるフレームレートが、それぞれの表示デバイス毎に決まっている。このため、合焦速度を高速化するために、単純にイメージセンサから画素信号を取り込むフレームレートを高めたのでは、イメージセンサのフレームレートと、表示デバイスのフレームレートとの整合が取れなくなってしまう。

図１１は、従来の撮像装置に備えたイメージセンサと表示デバイスとの概略のタイミングの一例を示したタイミングチャートである。以下の説明においては、イメージセンサのフレームレートと表示デバイスのフレームレートとを区別するため、イメージセンサから画素信号を取り込むフレームレートを「撮像フレームレート」といい、表示デバイスが画像を表示するフレームレートを「表示フレームレート」という。図１１は、イメージセンサの撮像フレームレートが１２０ｆｐｓ（フレーム／秒）であり、表示デバイスの表示フレームレートが６０ｆｐｓである場合における、イメージセンサから取り込んだ画素信号に応じた画像データである撮像画像と、表示デバイスに表示する画像データである表示画像とのタイミングの関係を示している。

図１１において、「イメージセンサの垂直同期信号」は、イメージセンサから各フレームの画素信号の取り込みを開始するタイミングを表す信号であり、「表示デバイスの垂直同期信号」は、表示デバイスが各フレームの画像の表示を開始するタイミングを表す信号である。また、図１１において、「ＡＦ処理」の期間は、撮像画像に基づいて撮像装置に備えたＡＦ評価値生成部がＡＦ評価値を生成する期間である。なお、図１１では、撮像画像と表示画像とのタイミングの関係の比較を容易にするため、「イメージセンサの垂直同期信号」のタイミングと「表示デバイスの垂直同期信号」のタイミングとが同期している場合を示している。

従来の撮像装置においてイメージセンサの撮像フレームレートと表示デバイスの表示フレームレートとが異なる場合には、図１１に示したように、撮像画像を間引いて表示デバイスに表示する方法が採用されている。図１１では、表示フレームレートが撮像フレームレートの半分であるため、フレーム単位で半分に間引いた撮像画像を、表示画像としている。しかしながら、このような方法によって表示デバイスに順次表示される表示画像では、画像の情報が半分になっているため、例えば、被写体の動きがカクカクするなど、被写体の動きが断続的で不自然な表示になってしまう。このような状態の表示画像では、撮像装置の使用者（ユーザ）が快適に被写体の動きを視認することができない。

このような、不自然な表示を緩和するための方法として、撮像画像を合成した画像を表示することが考えられる。この考え方については、特許文献１に開示されている。しかしながら、特許文献１には、撮像画像を合成するための方法に関する詳細な技術が開示されていない。

また、合成した画像を表示するための技術として、例えば、特許文献２や特許文献３のような技術が開示されている。特許文献２および特許文献３で開示された技術では、表示デバイスに表示する表示フレームレートに応じて、合成する撮像画像のフレーム数を可変にしている。

特開２００５−２５２４８４号公報特開２００５−３９７１０号公報特開２００７−３３６５９９号公報

しかしながら、特許文献１、および特許文献２や特許文献３で開示された、撮像画像を合成する技術を適用することができる撮像装置には、その構成に制限があり、画像合成の処理を行う処理部と、次の処理を行う処理部または表示の処理を行う処理部とが直接接続されている、すなわち、画像合成の処理を行う処理部によって合成された画像データが、直接次の処理部に入力される構成の撮像装置でなければならない。このため、図１０に示したような、共通のデータバスを介して各構成要素が画像データの受け渡しを行う構成の撮像装置には、特許文献１、および特許文献２や特許文献３で開示された、撮像画像を合成する技術を適用することができない、という問題がある。

本発明は、上記の課題認識に基づいてなされたものであり、共通のバスに接続された各構成要素が、バスを介してデータの受け渡しを行う構成の撮像装置において、撮影に関する制御を行うための評価値を生成しながら、撮影する被写体を確認するための良好な動画を表示することができる撮像装置を提供することを目的としている。

上記の課題を解決するため、本発明の撮像装置は、固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、データバスを介して、記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、前記第１の画像データに基づいた画像データと前記第２の画像データに基づいた画像データとを合成した第３の画像データを生成して出力する画像合成部と、入力された画像データに基づいた評価値を生成する評価値生成部と、前記第１の画像データに基づいた画像データ、前記第２の画像データに基づいた画像データ、または前記第３の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして選択する第１の画像データ選択部と、入力された画像データを、データバスを介して前記記憶部に記憶させる画像データ書き込み部と、前記第１の画像データに基づいた画像データ、前記第２の画像データに基づいた画像データ、または前記第３の画像データのいずれか１つの画像データを、前記画像データ書き込み部に入力する画像データとして選択する第２の画像データ選択部と、前記画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データを、データバスを介して前記記憶部から読み出し、該読み出した前記第３の画像データに応じた画像を表示する表示部と、を備えることを特徴とする。

また、本発明の前記画像データインターフェース部は、前記表示部が画像の表示を更新する単位期間の間に、前記固体撮像装置から入力された画素信号に応じた複数の前記第１の画像データを順次出力し、前記第２の画像データ選択部は、前記表示部の前記単位期間が開始された後、前記画像データインターフェース部から最初に出力された前記第１の画像データに基づいた画像データを、前記画像データ書き込み部に入力する画像データとして選択し、その後、前記表示部の前記単位期間が終了するまで、順次入力される前記第３の画像データを、前記画像データ書き込み部に入力する画像データとして選択し、前記画像データ書き込み部は、入力された最初の前記第１の画像データに基づいた画像データに引き続き、入力された前記第３の画像データを、前記記憶部に順次記憶させ、前記画像データ読み出し部は、前記記憶部に記憶されている最初の前記第１の画像データに基づいた画像データに引き続き、前記記憶部に記憶されている前記第３の画像データを、第２の画像データとして順次読み出し、前記画像合成部は、前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データと、前記画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データとを順次合成した前記第３の画像データを順次出力し、前記表示部は、該表示部の前記単位期間を終了したときに、前記記憶部に記憶されている最後に前記画像合成部によって合成された前記第３の画像データに応じた画像を表示し、前記第１の画像データ選択部は、前記表示部の前記単位期間の間に、前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データ、前記画像データ読み出し部によって順次読み出される前記第２の画像データに基づいた画像データ、または前記画像合成部によって順次合成される前記第３の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして順次選択し、前記評価値生成部は、順次入力される画像データに基づいて、評価値を順次生成する、ことを特徴とする。

また、本発明の撮像装置は、前記第２の画像データ選択部と前記画像データ書き込み部との間に配置され、前記第２の画像データ選択部が選択した画像データを、予め定められた大きさに縮小し、該縮小した画像データを前記画像データ書き込み部に入力する画像データとして出力する画像縮小部、をさらに備える、ことを特徴とする。

また、本発明の前記画像縮小部は、前記表示部の前記単位期間の間で、最後に前記画像データ書き込み部に入力する画像データのみを縮小して前記画像データ書き込み部に出力する、ことを特徴とする。

また、本発明の撮像装置は、前記第２の画像データ選択部と前記画像データ書き込み部との間に配置され、前記第２の画像データ選択部が選択した画像データを、予め定められた大きさに縮小し、該縮小した画像データを前記画像データ書き込み部に入力する画像データとして出力する複数の画像縮小部、をさらに備え、それぞれの前記画像縮小部は、前記第２の画像データ選択部が選択した画像データを、それぞれ異なる予め定められた大きさに縮小し、該縮小したそれぞれの画像データを前記画像データ書き込み部に入力するそれぞれの画像データとして出力し、前記画像データ書き込み部は、それぞれの前記画像縮小部から入力された、縮小した画像データのそれぞれを、前記記憶部に順次記憶させる、ことを特徴とする。

また、本発明のそれぞれの前記画像縮小部は、前記表示部の前記単位期間の間で、最後に前記画像データ書き込み部に入力する画像データのみを縮小して前記画像データ書き込み部に出力する、ことを特徴とする。

また、本発明の撮像装置は、前記第２の画像データ選択部と前記画像データ書き込み部との間に配置され、前記第２の画像データ選択部が選択した画像データを、予め定められた大きさに縮小し、該縮小した画像データを前記画像データ書き込み部に入力する画像データとして出力する画像縮小部と、前記画像データ読み出し部の後段に配置され、該画像データ読み出し部によって読み出された前記第２の画像データを、前記画像データインターフェース部が出力する前記第１の画像データと同じ大きさに拡大し、該拡大した画像データを、前記第２の画像データとして出力する画像拡大部と、をさらに備える、ことを特徴とする。

また、本発明の前記画像縮小部は、前記表示部の前記単位期間の間に前記画像データ書き込み部に入力する画像データを全て縮小して前記画像データ書き込み部に出力し、前記画像拡大部は、前記表示部の前記単位期間の間に前記画像データ読み出し部によって読み出された前記第２の画像データを全て拡大して前記第２の画像データとして出力する、ことを特徴とする。

また、本発明の撮像装置は、入力された画像データに対して、予め定められた処理を行う第１の前処理部と、入力された画像データに対して、予め定められた処理を行う第２の前処理部と、をさらに備え、前記第１の前処理部は、入力された前記第１の画像データまたは前記第２の画像データのいずれか一方の画像データに対して、予め定められた処理を行った画像データを、第４の画像データとして出力し、前記第２の前処理部は、入力された前記第１の画像データまたは前記第２の画像データのいずれか他方の画像データに対して、予め定められた処理を行った画像データを、第５の画像データとして出力し、前記第１の画像データ選択部は、前記第３の画像データ、前記第４の画像データ、または前記第５の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして選択し、前記第２の画像データ選択部は、前記第３の画像データ、前記第４の画像データ、または前記第５の画像データのいずれか１つの画像データを、前記画像データ書き込み部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の前記第１の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの処理部であり、前記第２の前処理部は、入力された画像データを、予め定められた時間だけ遅延させて出力する処理を行う、少なくとも１つの遅延部である、ことを特徴とする。

また、本発明の撮像装置における前記予め定められた時間は、前記第１の前処理部に画像データが入力されてから、前記予め定められた補正処理を行って出力するまでの遅延時間と同じ時間である、ことを特徴とする。

また、本発明の前記第１の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第１の処理部であり、前記第２の前処理部は、入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第２の処理部である、ことを特徴とする。

また、本発明の撮像装置において、前記評価値生成部が、前記固体撮像装置から入力された画素信号に応じた画像データに基づいた評価値を生成する場合、前記第１の画像データ選択部は、前記第１の画像データに基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、前記評価値生成部が、前記記憶部に記憶している画像データに基づいた評価値を生成する場合、前記第１の画像データ選択部は、前記第２の画像データに基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、前記評価値生成部が、前記第３の画像データに基づいた評価値を生成する場合、前記第１の画像データ選択部は、前記第３の画像データを、前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の撮像装置において、当該撮像装置は、複数の前記評価値生成部と、複数の前記評価値生成部のそれぞれに対応した複数の前記第１の画像データ選択部と、を備え、それぞれの前記第１の画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる、前記第３の画像データ、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第４の画像データ、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第５の画像データのいずれか１つの画像データを、対応する前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

また、本発明の撮像装置において、少なくとも１つの前記第１の画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、対応する前記評価値生成部に入力する画像データとして選択し、少なくとも別の１つの前記第１の画像データ選択部は、対応する前記評価値生成部が評価値を生成する際に用いる、前記第１の画像データまたは前記第２の画像データのいずれか他方に基づいた前記第４の画像データまたは前記第５の画像データのいずれか他方の画像データ、または前記第３の画像データを、対応する前記評価値生成部に入力する画像データとして選択する、ことを特徴とする。

本発明によれば、共通のバスに接続された各構成要素が、バスを介してデータの受け渡しを行う構成の撮像装置において、撮影に関する制御を行うための評価値を生成しながら、撮影する被写体を確認するための良好な動画を表示することができるという効果が得られる。

本発明の第１の実施形態における撮像装置の概略構成を示したブロック図である。本第１の実施形態の撮像装置による評価値生成および画像表示の動作の一例を模式的に示した図である。本第１の実施形態の撮像装置に備えたイメージセンサと表示デバイスとの概略のタイミングの一例を示したタイミングチャートである。本第１の実施形態の撮像装置において、画像を表示する際のバス帯域の一例を模式的に示した図である。本発明の第２の実施形態における撮像装置の概略構成を示したブロック図である。本第２の実施形態の撮像装置による評価値生成および画像表示の動作と、バス帯域との一例を模式的に示した図である。本第２の実施形態の撮像装置による評価値生成および画像表示の動作と、バス帯域との別の一例を模式的に示した図である。本第２の実施形態における撮像装置の別の概略構成を示したブロック図である。本第２の実施形態における撮像装置のさらに別の概略構成を示したブロック図である。従来の撮像装置の概略構成を示したブロック図である。従来の撮像装置に備えたイメージセンサと表示デバイスとの概略のタイミングの一例を示したタイミングチャートである。

＜第１の実施形態＞
以下、本発明の実施形態について、図面を参照して説明する。図１は、本第１の実施形態における撮像装置の概略構成を示したブロック図である。図１に示した撮像装置１０は、イメージセンサ１００と、撮像処理部２００と、画像処理部３００と、表示処理部４００と、表示デバイス４０１と、ＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）コントローラ５００と、ＤＲＡＭ５０１と、ＣＰＵ６００と、を備えている。

撮像装置１０内の撮像処理部２００と、画像処理部３００と、表示処理部４００と、ＤＲＡＭコントローラ５００と、ＣＰＵ６００とは、データバス７００を介してそれぞれ接続され、例えば、ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）によってＤＲＡＭコントローラ５００に接続されたＤＲＡＭ５０１からのデータの読み出し、およびＤＲＡＭ５０１へのデータの書き込みを行う。

図１に示した撮像装置１０は、図１０に示した従来の撮像装置と同様の構成要素を備えている。ただし、撮像装置１０では、撮像処理部２００の構成が、従来の撮像装置に備えた撮像処理部の構成と異なる。図１には、従来の撮像装置と異なる構成の撮像処理部２００に注目し、その撮像処理部２００の概略構成も併せて示している。

撮像装置１０に備えた撮像処理部２００は、撮像ＩＦ（インターフェース）部２１０と、前処理部２２０と、セレクタ２３０と、ＡＥ評価値生成部２３１と、セレクタ２４０と、ＡＷＢ評価値生成部２４１と、セレクタ２５０と、ＡＦ評価値生成部２５１と、セレクタ２６０と、出力ＤＭＡ（ＤｉｒｅｃｔＭｅｍｏｒｙＡｃｃｅｓｓ）部２６１と、入力ＤＭＡ部２７０と、を備えている。

イメージセンサ１００は、図示しないズームレンズによって結像された被写体の光学像を光電変換するＣＣＤ（ＣｈａｒｇｅＣｏｐｌｅｄＤｅｖｉｃｅ：電荷結合素子）イメージセンサや、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化膜半導体）イメージセンサに代表されるイメージセンサである。

イメージセンサ１００には、例えば、ベイヤー配列のカラーフィルタが、撮像面に貼付されている。イメージセンサ１００は、被写体光に応じた各色（例えば、Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画素信号を、撮像処理部２００に出力する。なお、イメージセンサ１００の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたイメージセンサの構成や動作と同様であるため、詳細な説明は省略する。

撮像処理部２００は、イメージセンサ１００から入力された画素信号に各種の処理を施し、撮像装置１０における撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うための評価値を生成する。また、撮像処理部２００は、イメージセンサ１００から入力された画素信号に応じた画像データ（以下、「撮像画像」ともいう）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（記憶する）。

また、撮像処理部２００は、ＤＲＡＭ５０１に格納されている画像データ（撮像画像）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データに基づいて、撮像装置１０における撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うための評価値を生成する。

また、撮像処理部２００は、イメージセンサ１００から入力された画素信号に応じた画像データ（現在のフレームの撮像画像）と、ＤＲＡＭコントローラ５００を介して取得した（読み出した）画像データ（以前のフレームの撮像画像）とを合成し、合成した画像データに基づいて、撮像装置１０における撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うための評価値を生成する。また、撮像処理部２００は、合成した画像データを、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（記憶する）。

撮像ＩＦ部２１０は、イメージセンサ１００から入力された画素信号を取り込み、取り込んだ画素信号を画像データ（現在のフレームの撮像画像）として前処理部２２０に出力する。撮像ＩＦ部２１０は、画像データを前処理部２２０に出力する際、イメージセンサ１００から入力された各色の画素信号のデータを、以降の処理に使用する画素の色の順番に並べ替える、並べ替え処理などを行う。また、撮像ＩＦ部２１０は、イメージセンサ１００が差動インターフェースによって画素信号を出力するイメージセンサである場合には、例えば、ＬＶＤＳ（Ｌｏｗｖｏｌｔａｇｅｄｉｆｆｅｒｅｎｔｉａｌｓｉｇｎａｌｉｎｇ）の終端の処理なども行う。なお、撮像ＩＦ部２１０の構成や動作は、例えば、図１０に示した従来の撮像装置に備えた撮像ＩＦ部の構成や動作と同様であるため、詳細な説明は省略する。

前処理部２２０は、撮像ＩＦ部２１０から入力された画像データに対して、キズ補正やシェーディング補正などの様々な前処理を施し、処理した結果の画像データ（以下、「前処理画像データ」という）を、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

また、前処理部２２０は、入力ＤＭＡ部２７０から入力された画像データを予め定めた時間だけ遅らせた画像データ（以下、「遅延画像データ」という）を、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

また、前処理部２２０は、前処理画像データと遅延画像データとを合成し、合成した画像データ（以下、「合成画像データ」という）を、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

図１に示したように、前処理部２２０は、セレクタ２２１と、３つの処理部２２２ａ〜２２２ｃと、３つのディレイ部２２３ａ〜２２３ｃと、合成部２２４と、を備えている。図１には、図１０に示した従来の撮像装置に備えた前処理部と同様に、それぞれの処理を順次行う３つの処理部２２２ａ〜２２２ｃを備えた前処理部２２０の一例を示している。

セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データ（現在のフレームの撮像画像）、および入力ＤＭＡ部２７０から入力された画像データ（以前のフレームの撮像画像）の出力先を選択する。より具体的には、セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。また、セレクタ２２１は、入力ＤＭＡ部２７０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。

処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して、予め定められたそれぞれの処理（補正処理）を行う。例えば、処理部２２２ａは、入力された画像データに対して、キズ補正の処理を行う。また、例えば、処理部２２２ｂは、処理部２２２ａから入力されたキズ補正処理後の画像データに対して、シェーディング補正の処理を行う。

このようにして、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して、予め定められた処理（補正処理）を順次行う。そして、処理部２２２ｃが処理（補正処理）した後の画像データを、前処理画像データとして、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。また、前処理画像データは、合成部２２４にも出力される。なお、処理部２２２ａ〜２２２ｃのそれぞれの構成や動作は、例えば、図１０に示した従来の撮像装置に備えた３つの処理部の構成や動作と同様であるため、詳細な説明は省略する。

ディレイ部２２３ａ〜２２３ｃのそれぞれは、処理部２２２ａ〜２２２ｃのそれぞれに対応し、入力された画像データを、処理部２２２ａ〜２２２ｃのそれぞれの入力から出力までの遅延時間と同じ時間だけ遅らせて出力する。例えば、ディレイ部２２３ａは、入力された画像データを、処理部２２２ａのキズ補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。また、例えば、ディレイ部２２３ｂは、ディレイ部２２３ａによって遅らされた画像データを、処理部２２２ｂのシェーディング補正の処理によって遅れる遅延時間（処理時間）と同じ時間だけ遅らせて出力する。

このようにして、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された画像データを、対応する処理部の遅延時間（処理時間）と同じ時間だけ順次遅らせて出力する。そして、ディレイ部２２３ｃが遅らせた後の画像データを、遅延画像データとして、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。また、遅延画像データは、合成部２２４にも出力される。

合成部２２４は、入力された前処理画像データと遅延画像データとを合成した合成画像データを生成する。合成部２２４が合成画像データを生成する際、合成部２２４は、入力された前処理画像データと遅延画像データとに対して、例えば、加算処理、減算処理、重み付け加算処理、加算平均処理などの合成処理を施して合成画像データを生成する。そして、合成部２２４は、生成した合成画像データを、セレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。

セレクタ２３０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、ＡＥ評価値を生成するための画像データとしてＡＥ評価値生成部２３１に出力する。

ＡＥ評価値生成部２３１は、セレクタ２３０から入力された画像データに基づいて、撮像装置１０の露出を制御するためのＡＥ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＥ評価値生成部２３１は、セレクタ２３０から入力された画像データを色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）毎に積算したそれぞれのＡＥ評価値を生成する。そして、ＡＥ評価値生成部２３１は、生成したＡＥ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＥ評価値生成部２３１の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたＡＥ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

なお、ＡＥ評価値生成部２３１は、生成したＡＥ評価値をＤＲＡＭ５０１に格納せず、生成したＡＥ評価値を、ＡＥ評価値生成部２３１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＥ評価値生成部２３１からＡＥ評価値の生成が完了したことを表す通知を受け取った後に、ＡＥ評価値生成部２３１内のレジスタに保持しているＡＥ評価値を読み出し、読み出したＡＥ評価値を用いて、撮像装置１０におけるＡＥの制御を行う。

セレクタ２４０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、ＡＷＢ評価値を生成するための画像データとしてＡＷＢ評価値生成部２４１に出力する。

ＡＷＢ評価値生成部２４１は、セレクタ２４０から入力された画像データに基づいて、撮像装置１０のホワイトバランスを制御するためのＡＷＢ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＷＢ評価値生成部２４１は、セレクタ２４０から入力された各色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データから、白（ホワイト）のレベルを調整するためのＡＷＢ評価値を生成する。そして、ＡＷＢ評価値生成部２４１は、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＷＢ評価値生成部２４１の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたＡＷＢ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

なお、ＡＷＢ評価値生成部２４１は、生成したＡＷＢ評価値をＤＲＡＭ５０１に格納せず、生成したＡＷＢ評価値を、ＡＷＢ評価値生成部２４１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＷＢ評価値生成部２４１からＡＷＢ評価値の生成が完了したことを表す通知を受け取った後に、ＡＷＢ評価値生成部２４１内のレジスタに保持しているＡＷＢ評価値を読み出し、読み出したＡＷＢ評価値を用いて、撮像装置１０におけるＡＷＢの制御を行う。

セレクタ２５０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、ＡＦ評価値を生成するための画像データとしてＡＦ評価値生成部２５１に出力する。

ＡＦ評価値生成部２５１は、セレクタ２５０から入力された画像データに基づいて、撮像装置１０の焦点を制御するためのＡＦ評価値を演算（生成）する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ＡＦ評価値生成部２５１は、セレクタ２５０から入力された各色（Ｒ，Ｇｒ，Ｇｂ，Ｂ）の画像データから、輝度信号（Ｙ信号）を生成し、生成したＹ信号に基づいてＡＦ評価値を生成する。そして、ＡＦ評価値生成部２５１は、生成したＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、ＡＦ評価値生成部２５１の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたＡＦ評価値生成部の構成や動作と同様であるため、詳細な説明は省略する。

なお、ＡＦ評価値生成部２５１は、生成したＡＦ評価値をＤＲＡＭ５０１に格納せず、生成したＡＦ評価値を、ＡＦ評価値生成部２５１内のレジスタに保持する構成であってもよい。この場合には、ＣＰＵ６００は、ＡＦ評価値生成部２５１からＡＦ評価値の生成が完了したことを表す通知を受け取った後に、ＡＦ評価値生成部２５１内のレジスタに保持しているＡＦ評価値を読み出し、読み出したＡＦ評価値を用いて、撮像装置１０におけるＡＦの制御を行う。

セレクタ２６０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、画像処理部３００または表示処理部４００が処理する元の画像データとして出力ＤＭＡ部２６１に出力する。

出力ＤＭＡ部２６１は、セレクタ２６０から入力された画像データを、ＤＭＡによって、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。イメージセンサ１００がベイヤー配列のイメージセンサである場合には、ベイヤー配列の画像データが、画像処理部３００または表示処理部４００が処理する画像データ（ベイヤーデータ）として、ＤＲＡＭ５０１に格納される。なお、出力ＤＭＡ部２６１の構成や動作は、例えば、図１０に示した従来の撮像装置に備えた出力ＤＭＡ部の構成や動作と同様であるため、詳細な説明は省略する。

入力ＤＭＡ部２７０は、ＤＭＡによって、ＤＲＡＭ５０１に格納されている画像データ（以前のフレームの撮像画像）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データを前処理部２２０に出力する。なお、入力ＤＭＡ部２７０が取得する画像データは、出力ＤＭＡ部２６１によって格納された画像データのみではなく、例えば、画像処理部３００によって画像処理された後にＤＲＡＭ５０１に格納された画像データでもよい。

画像処理部３００は、ＤＲＡＭ５０１に格納されている画像データを取得し（読み出し）、取得した画像データに、ノイズ除去、ＹＣ変換処理、リサイズ処理、ＪＰＥＧ圧縮処理、およびＭＰＥＧ圧縮処理やＨ．２６４圧縮処理等の動画圧縮処理などの各種の画像処理を施して、記録用の画像データを生成する。そして、画像処理部３００は、生成した記録用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。

また、画像処理部３００は、ＤＲＡＭ５０１に格納されている記録用の画像データを取得し（読み出し）、ＪＰＥＧ伸張処理、ＭＰＥＧ伸張処理やＨ．２６４伸張処理等の動画伸張処理などの各種の画像処理を施した画像データを生成する。そして、画像処理部３００は、生成した画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。なお、画像処理部３００の構成や動作は、例えば、図１０に示した従来の撮像装置に備えた画像処理部の構成や動作と同様であるため、詳細な説明は省略する。

表示処理部４００は、ＤＲＡＭ５０１に格納されている画像データを取得し（読み出し）、取得した画像データに、表示デバイス４０１が表示することができる画像の大きさへのリサイズ（縮小）する表示用の画像処理や、ＯＳＤ（Ｏｎ−ＳｃｒｅｅｎＤｉｓｐｌａｙ）表示用のデータを重畳する処理などの表示処理を施して、表示用の画像データ（以下、「表示画像」ともいう）を生成する。そして、表示処理部４００は、生成した表示用の画像データ（表示画像）を、表示デバイス４０１や図示しない外部ディスプレイに出力する。なお、表示処理部４００の構成や動作は、例えば、図１０に示した従来の撮像装置に備えた表示処理部の構成や動作と同様であるため、詳細な説明は省略する。

なお、表示処理部４００は、ＯＳＤ表示用のデータの重畳処理などの表示処理のみを施す構成であってもよい。この場合には、例えば、画像処理部３００が、ＤＲＡＭ５０１から取得（読み出し）した画像データや記録用の画像データに対して表示用の画像処理を施して表示用の画像データを生成し、生成した表示用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。そして、表示処理部４００は、ＤＲＡＭ５０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ表示用のデータの重畳処理などの表示処理を施すことになる。

表示デバイス４０１は、ＴＦＴ（薄膜トランジスター：ＴｈｉｎＦｉｌｍＴｒａｎｓｉｓｔｏｒ）液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）や、有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示デバイスである。表示デバイス４０１は、表示処理部４００から出力された表示用の画像データ（表示画像）に応じた画像を表示する。なお、表示デバイス４０１は、例えば、図１０に示した従来の撮像装置に備えた表示デバイスと同様であるため、詳細な説明は省略する。

ＤＲＡＭコントローラ５００は、データバス７００に接続されている撮像装置１０内の複数の構成要素からのＤＲＡＭ５０１へのアクセス要求、例えば、ＤＭＡのアクセス要求に応じて、接続されているＤＲＡＭ５０１へのデータの格納（書き込み）、およびＤＲＡＭ５０１からのデータの取得（読み出し）の制御を行う。なお、ＤＲＡＭコントローラ５００の構成や動作は、例えば、図１０に示した従来の撮像装置に備えたＤＲＡＭコントローラの構成や動作と同様であるため、詳細な説明は省略する。

ＤＲＡＭ５０１は、ＤＲＡＭコントローラ５００によってアクセス制御されるメモリである。ＤＲＡＭ５０１は、撮像装置１０内のそれぞれの構成要素の処理過程における様々なデータを記録する。なお、ＤＲＡＭ５０１は、例えば、図１０に示した従来の撮像装置に備えたＤＲＡＭと同様であるため、詳細な説明は省略する。

ＣＰＵ６００は、撮像装置１０の構成要素、すなわち、撮像装置１０全体を制御する。例えば、撮像装置１０における撮影動作や再生動作に応じて、撮像装置１０内の各構成要素の動作を制御する。例えば、ＣＰＵ６００は、撮像装置１０が撮影動作を行う際に、イメージセンサ１００からの画素信号の出力の開始、撮像ＩＦ部２１０による画素信号の取り込みの開始を制御する。

また、ＣＰＵ６００は、前処理部２２０内の処理部２２２ａ〜２２２ｃの設定や制御、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１の設定や制御や、出力ＤＭＡ部２６１および入力ＤＭＡ部２７０の設定を行う。また、ＣＰＵ６００は、前処理部２２０内のセレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによる画像データの選択を制御する。

次に、本実施形態の撮像装置１０の動作の一例について説明する。図２は、本第１の実施形態の撮像装置１０による評価値生成および画像表示の動作の一例を模式的に示した図である。撮像装置１０は、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うためのＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成しながら、イメージセンサ１００から出力される画素信号に応じた撮像画像を順次、表示デバイス４０１に表示する。図２には、図１に示した撮像装置１０のブロック図上に、評価値生成動作および画像表示動作におけるデータの経路を示している。

以下に、撮像装置１０による評価値生成動作および画像表示動作のそれぞれの処理手順を、順を追って説明する。

（手順１）：まず、手順１では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、例えば、図２（ａ）に示した経路Ｃ１１を、データの経路として選択する。そして、撮像装置１０は、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置１０は、前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

より具体的には、イメージセンサ１００から出力された画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施す。前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。そして、セレクタ２３０、セレクタ２５０、およびセレクタ２６０のそれぞれは、前処理部２２０から入力された前処理画像データを、対応するＡＥ評価値生成部２３１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１に、それぞれ出力する。

ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、前処理部２２０から入力された前処理画像データに基づいて演算（生成）したＡＥ評価値およびＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、出力ＤＭＡ部２６１は、前処理部２２０から入力された前処理画像データ（ベイヤーデータ）を、第１フレームの撮像画像として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

（手順２）：続いて、手順２では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、例えば、図２（ｂ）に示した経路Ｃ１２、経路Ｃ１３、および経路Ｃ１４を、それぞれのデータの経路として選択する。そして、撮像装置１０は、手順１と同様に、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。

また、同時に、撮像装置１０は、ＤＲＡＭ５０１に格納されている第１フレームの撮像画像を取得し（読み出し）、取得した第１フレームの撮像画像の画像データと、前処理した前処理画像データ（ベイヤーデータ）とを合成し、合成した画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置１０は、合成した画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

より具体的には、イメージセンサ１００から出力された画素信号を、撮像処理部２００に入力し、撮像処理部２００内の撮像ＩＦ部２１０が、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施し、合成部２２４に出力する。また、前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０を介してＡＥ評価値生成部２３１に、セレクタ２５０を介してＡＦ評価値生成部２５１に、それぞれ出力する（経路Ｃ１２参照）。

また、同時に、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている第１フレームの撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した第１フレームの撮像画像の画像データを前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された第１フレームの撮像画像の画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された第１フレームの撮像画像の画像データを、予め定めた時間だけ遅らせ、合成部２２４に出力する（経路Ｃ１３参照）。

そして、合成部２２４は、処理部２２２ｃが前処理（補正処理）した前処理画像データ、すなわち、第２フレームの撮像画像と、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、第１フレームの撮像画像とを合成した合成画像データを生成する。そして、前処理部２２０は、合成部２２４が生成した合成画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に、セレクタ２６０を介して出力ＤＭＡ部２６１に、それぞれ出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された合成画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ１４参照）。

また、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、前処理部２２０から入力された前処理画像データ（第２フレームの撮像画像）に基づいて演算（生成）したＡＥ評価値およびＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、ＡＷＢ評価値生成部２４１は、前処理部２２０から入力された合成画像データに基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

その後、撮像装置１０は、ＤＲＡＭ５０１に格納されている合成画像データ（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示する。このとき、例えば、図２（ｂ）に示した経路Ｃ１５で、表示処理部４００にデータが入力される。

より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている合成画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した合成画像データに対して表示処理を施して、表示用の画像データ（表示画像）を生成する。そして、表示処理部４００は、生成した表示画像を、表示デバイス４０１に出力する。これにより、表示画像（合成画像データ）が、表示デバイス４０１に表示される。

以降、撮像装置１０は、手順１における第１フレームの撮像画像（前処理画像データ）に基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、第１フレームの撮像画像（ベイヤーデータ）のＤＲＡＭ５０１への格納、および手順２における第２フレームの撮像画像（前処理画像データ）に基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、合成画像データの生成と、合成画像データに基づいたＡＷＢ評価値の演算（生成）と、合成画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納とを繰り返す。また、表示処理部４００は、手順２における表示画像の生成および表示デバイス４０１への出力を繰り返す。

このように、撮像装置１０では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図２に示したような、画像データを処理する経路を選択する。これにより、撮像装置１０では、イメージセンサ１００からの画素信号に応じた画像データに基づいて、撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うためのそれぞれの評価値を生成しながら、イメージセンサ１００からの画素信号に応じた表示画像を順次、表示デバイス４０１に表示することができる。

このとき、表示デバイス４０１に表示する表示画像は、第１フレームの撮像画像と第２フレームの撮像画像とを合成した合成画像データに応じた画像である。このため、イメージセンサ１００から画素信号を取り込んで評価値を生成するための画像データのフレームレート（以下、「撮像フレームレート」という）と、表示デバイス４０１に合成画像データを表示するフレームレート（以下、「表示フレームレート」という）とが異なるフレームレートであっても、撮像フレームレートで、より多くの評価値を得ることができると共に、表示フレームレートで、撮影する被写体を容易に確認することができる滑らかな動画を表示することができる。

なお、図２に示した撮像装置１０による評価値生成および画像表示の動作の一例では、手順１においてＡＷＢ評価値生成部２４１が評価値を生成していない場合の例について説明したが、手順１において、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が、それぞれの評価値を生成する動作にしてもよい。すなわち、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を、イメージセンサ１００からの画素信号に応じた前処理画像データである、現在のフレームの撮像画像から生成し、合成画像データを、表示デバイス４０１に表示するための画像データとして使用する動作にしてもよい。

ここで、図２に示した撮像装置１０による評価値生成および画像表示の動作の一例におけるタイミングの関係について説明する。図３は、本第１の実施形態の撮像装置１０に備えたイメージセンサ１００と表示デバイス４０１との概略のタイミングの一例を示したタイミングチャートである。図３は、図１１に示した従来の撮像装置におけるタイミングと同様に、イメージセンサ１００の撮像フレームレートが１２０ｆｐｓ（フレーム／秒）であり、表示デバイス４０１の表示フレームレートが６０ｆｐｓである場合における、イメージセンサ１００から取り込んだ画素信号に応じた画像データである撮像画像と、表示デバイス４０１に表示する画像データである表示画像とのタイミングの関係を示している。

図３において、「イメージセンサの垂直同期信号」は、イメージセンサ１００から各フレームの画素信号の取り込みを開始するタイミングを表す信号であり、「表示デバイスの垂直同期信号」は、表示デバイス４０１が各フレームの画像の表示を開始するタイミングを表す信号である。表示デバイス４０１は、「表示デバイスの垂直同期信号」が入力される毎（図３に示した単位期間毎）に、表示する表示画像を更新する。また、図３において、「ＡＦ処理」、「ＡＥ処理」、および「ＡＷＢ処理」の期間は、撮像画像に基づいてＡＥ評価値生成部２３１、ＡＦ評価値生成部２５１、およびＡＷＢ評価値生成部２４１のそれぞれが、ＡＥ評価値、ＡＦ評価値、およびＡＷＢ評価値を生成する期間である。なお、図３では、撮像画像と表示画像とのタイミングの関係の比較を容易にするため、「イメージセンサの垂直同期信号」のタイミングと「表示デバイスの垂直同期信号」のタイミングとが同期している場合を示している。

図３に示したように、撮像装置１０に備えた合成部２２４は、手順２によって、奇数番目のフレームの撮像画像と偶数番目のフレームの撮像画像とを合成した合成画像データを生成する。そして、生成した合成画像データを、表示画像として表示デバイス４０１に表示する。このように、撮像装置１０では、イメージセンサ１００から得られた各フレームの撮像画像を間引くことなく、すなわち、画像の情報を減らすことなく、表示フレームレート（６０ｆｐｓ）で、表示デバイス４０１に画像を表示することができる。これにより、撮像装置１０は、表示デバイス４０１に良好な表示画像を表示させることができる。

また、図３に示したように、撮像装置１０に備えたＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、手順１および手順２によって、各フレームの撮像画像（前処理画像データ）に基づいたＡＥ評価値およびＡＦ評価値を生成する。すなわち、撮像フレームレート（１２０ｆｐｓ）で、それぞれの評価値を生成する。これにより、撮像装置１０は、より多くのＡＥ評価値およびＡＦ評価値を得ることができる。このことにより、撮像装置１０では、例えば、ＡＦ機能の高速化、すなわち、合焦速度の高速化を実現することができる。

また、図３に示したように、撮像装置１０に備えたＡＷＢ評価値生成部２４１は、手順２によって、合成画像データに基づいたＡＷＢ評価値を生成する。すなわち、ＡＷＢ評価値生成部２４１は、表示フレームレート（６０ｆｐｓ）で評価値を生成する。これにより、撮像装置１０では、従来の撮像装置と同様のＡＷＢ評価値を得ることができる。

上記に述べたように、本第１の実施形態における撮像装置１０では、イメージセンサ１００から出力される画素信号の撮像フレームレートで評価値を生成する。これにより、本第１の実施形態における撮像装置１０では、イメージセンサ１００の撮像フレームレートを高くすることによって、より多くの評価値を得ることができる。このことにより、本第１の実施形態における撮像装置１０では、撮像装置１０における撮影に関する制御を高速化することができる。

また、本第１の実施形態における撮像装置１０では、イメージセンサ１００から出力される画素信号に応じた画像データ（現在のフレームの撮像画像）と、ＤＲＡＭコントローラ５００を介して取得し（読み出し）した画像データ（以前のフレームの撮像画像）とを合成する。すなわち、イメージセンサ１００から出力される画素信号に応じた画像データを、フレームの単位で合成する。これにより、本第１の実施形態における撮像装置１０では、イメージセンサ１００の撮像フレームレートと表示デバイス４０１の表示フレームレートとが異なる場合でも、イメージセンサ１００から取り込んだ撮像画像のフレームを間引くことなく、すなわち、画像の情報を減らすことなく、それぞれのフレームレートの違いを吸収し、良好な表示画像を表示デバイス４０１に表示することができる。

なお、本第１の実施形態における撮像装置１０では、図２に示した評価値生成および画像表示の動作の一例および図３に示したイメージセンサ１００と表示デバイス４０１との概略のタイミングの一例において、撮像フレームレートが１２０ｆｐｓであり、表示フレームレートが６０ｆｐｓである場合について説明した。しかし、撮像フレームレートおよび表示フレームレートは、本第１の実施形態の状態に限定されるものではない。例えば、撮像フレームレートが２４０ｆｐｓであり、表示フレームレートが６０ｆｐｓである場合でも、同様に適用することができる。この場合には、合成部２２４は、４フレーム分の撮像画像の画像データを、合成画像データとして合成することになる。そして、撮像装置１０は、手順１に引き続き、手順２における合成画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納を３回繰り返した後、すなわち、４フレーム分の撮像画像の合成処理が終了した後に、表示処理部４００が、手順２における表示画像の生成および表示デバイス４０１への出力を行う動作を繰り返すことになる。

また、本第１の実施形態における撮像装置１０では、図２に示した評価値生成および画像表示の動作の一例および図３に示したイメージセンサ１００と表示デバイス４０１との概略のタイミングの一例において、ＡＥ処理およびＡＦ処理を撮像フレームレート（１２０ｆｐｓ）で行い、ＡＷＢ処理を表示フレームレート（６０ｆｐｓ）で行う場合について説明した。しかし、ＡＥ処理、ＡＷＢ処理、およびＡＦ処理を行うタイミングは、本第１の実施形態のタイミングに限定されるものではない。すなわち、本第１の実施形態における撮像装置１０では、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１の前段にセレクタ２３０、セレクタ２４０、およびセレクタ２５０を備えているため、それぞれの評価値生成部は、撮像フレームレート（１２０ｆｐｓ）および表示フレームレート（６０ｆｐｓ）のいずれのタイミングでも評価値生成の処理を行うことができる。

なお、本第１の実施形態における撮像装置１０では、上述したように、高い撮像フレームレートでイメージセンサ１００から出力された各フレームの撮像画像の画像データを、合成部２２４がフレームの単位で合成する。このため、撮像装置１０では、手順２において、入力ＤＭＡ部２７０によって取得される（読み出される）ＤＲＡＭ５０１に一旦格納された以前のフレームの画像データと、出力ＤＭＡ部２６１によってＤＲＡＭ５０１に格納される合成画像データと、表示デバイス４０１に表示するために表示処理部４００によって取得される（読み出される）ＤＲＡＭ５０１に格納された合成画像データとが、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１とやり取りされる。すなわち、それぞれの画像データが同時期にデータバス７００上に存在することになる。同時期にデータバス７００上に存在する画像データが多くなると、データバス７００のバス帯域を圧迫する要因となる。撮像装置１０における実際の動作では、データバス７００のバス帯域についても考慮する必要がある。

ここで、撮像装置１０におけるデータバス７００のバス帯域について説明する。図４は、本第１の実施形態の撮像装置１０において、画像を表示する際のバス帯域の一例を模式的に示した図である。図４には、図２に示した評価値生成および画像表示の動作の一例に、それぞれのデータの経路でやり取りされる画像データの大きさ（サイズ）を模式的に示した図を追加して示している。そして、以下の説明においては、データバス７００上で同時期にやり取りされる画像データの大きさを説明することで、データバス７００のバス帯域についての説明を行う。なお、イメージセンサ１００の画素信号に対応した画像サイズは、図４に示した画像サイズ１００ｏの大きさであるものとする。

まず、手順１においては、画像サイズ１００ｏの大きさの画素信号が、イメージセンサ１００から出力され、撮像処理部２００によって処理された図４（ａ）に示した画像サイズ２６１ｏ１の大きさ（＝画像サイズ１００ｏの大きさ）の撮像画像が、出力ＤＭＡ部２６１によって、第１フレームの撮像画像として、ＤＲＡＭ５０１に格納される。

続いて、手順２においても、画像サイズ１００ｏの大きさの画素信号が、イメージセンサ１００から出力され、撮像処理部２００に入力される。また、手順２では、ＤＲＡＭ５０１に格納されている図４（ｂ）に示した画像サイズ２７０ｉの大きさ（＝画像サイズ２６１ｏ１の大きさ）の第１フレームの撮像画像が、入力ＤＭＡ部２７０によって取得され（読み出され）、合成部２２４によって合成される。そして、図４（ｂ）に示した画像サイズ２６１ｏ２の大きさ（＝画像サイズ２６１ｏ１の大きさ）の合成画像データが、出力ＤＭＡ部２６１によってＤＲＡＭ５０１に格納される。

その後、手順２では、ＤＲＡＭ５０１に格納されている画像サイズ２６１ｏ２の大きさ（＝画像サイズ２６１ｏ１の大きさ）の合成画像データが、表示処理部４００によって取得される（読み出される）。そして、表示処理部４００は、取得した（読み出した）、画像サイズ２６１ｏ２の大きさ（＝画像サイズ２６１ｏ１の大きさ）の合成画像データに対してリサイズ（縮小）などの表示処理を施して、図４（ｂ）に示した画像サイズ４０１ｏの大きさ（＜画像サイズ２６１ｏ２の大きさ）の表示画像を生成する。

このように、イメージセンサ１００から入力される画素信号に応じた撮像画像を、表示デバイス４０１に順次表示するとき、特に、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている第１フレームの撮像画像を取得し（読み出し）、出力ＤＭＡ部２６１が、合成画像データをＤＲＡＭ５０１に格納するときが、撮像装置１０においてデータバス７００のバス帯域を圧迫しているときである。これは、入力ＤＭＡ部２７０および出力ＤＭＡ部２６１がアクセスする２フレーム分の撮像画像の画像データが、データバス７００上に同時期に存在するからである。

しかし、図４を見てわかるように、表示デバイス４０１が表示することができる表示画像の大きさは、イメージセンサ１００から出力される画素信号に応じた撮像画像の大きさに比べて、非常に小さい画像サイズである。従って、表示処理部４００が表示画像を生成するための画像データの大きさは、イメージセンサ１００から出力される画素信号に応じた撮像画像の大きさよりも小さい画像データで十分である。この撮像画像の大きさと表示画像の大きさの差は、イメージセンサ１００の画素数が多くなるほど、より顕著に現れてくる。このため、データバス７００上に同時期に存在する画像データの大きさを適切にすることによって、データバス７００のバス帯域の圧迫を軽減することができると考えられる。

また、撮像装置１０では、イメージセンサ１００から入力される画素信号に応じた撮像画像を表示デバイス４０１に順次表示する以外にも、例えば、画像処理部３００が、合成画像データに対して様々な画像処理を行うこともある。このため、画像処理部３００による処理の負荷を軽減する必要があるが、データバス７００のバス帯域の圧迫を軽減することは、撮像装置１０が快適に動作するためにも有用である。

＜第２の実施形態＞
次に、本発明の第２の実施形態の撮像装置について説明する。図５は、本第２の実施形態における撮像装置の概略構成を示したブロック図である。なお、本第２の実施形態の撮像装置２０は、図１に示した第１の実施形態の撮像装置１０内の撮像処理部２００において、セレクタ２６０と出力ＤＭＡ部２６１との間に、リサイズ処理部８００が追加されたのみであり、その他の構成要素は、第１の実施形態の撮像装置１０と同様である。従って、本第２の実施形態の撮像装置２０の説明においては、図１に示した第１の実施形態の撮像装置１０とは異なる構成、および動作のみを説明して、詳細な説明は省略する。なお、以下の説明においては、本第２の実施形態の撮像装置２０の構成要素において、図１に示した第１の実施形態の撮像装置１０と同様の構成要素には、同一の符号を用いて説明する。

セレクタ２６０は、前処理部２２０から入力された前処理画像データ、遅延画像データ、または合成画像データのいずれか１つの画像データを選択し、選択した画像データを、画像処理部３００または表示処理部４００が処理する元の画像データとしてリサイズ処理部８００に出力する。

リサイズ処理部８００は、セレクタ２６０から入力された画像データを、例えば、表示デバイス４０１が表示することができる、予め定めた画像の大きさにリサイズ（縮小）する。そして、リサイズ処理部８００は、リサイズ（縮小）した画像データを、表示デバイス４０１に表示する元の画像データとして出力ＤＭＡ部２６１に出力する。なお、リサイズ処理部８００によるリサイズ（縮小）の処理の方法は、例えば、表示処理部４００が行うリサイズ（縮小）の処理の方法と同様であるため、詳細な説明は省略する。

なお、リサイズ処理部８００は、セレクタ２６０から入力された画像データに対してリサイズ（縮小）処理を施すか否かを切り換える、すなわち、リサイズ（縮小）処理をＯＮまたはＯＦＦにする機能を備えている。リサイズ処理部８００によるリサイズ（縮小）処理のＯＮまたはＯＦＦの切り換えは、撮像装置２０における評価値生成および画像表示の動作の手順に毎に、ＣＰＵ６００が制御する。

出力ＤＭＡ部２６１は、リサイズ処理部８００から入力された画像データを、ＤＭＡによって、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

表示処理部４００は、ＤＲＡＭ５０１に格納されているリサイズ（縮小）処理した後の画像データを取得し（読み出し）、取得した画像データに、リサイズ（縮小）処理以外の表示用の画像処理や、ＯＳＤ表示用のデータを重畳する処理などの表示処理を施した表示用の画像データ（以下、「表示画像」ともいう）を生成する。そして、表示処理部４００は、生成した表示用の画像データ（表示画像）を、表示デバイス４０１や図示しない外部ディスプレイに出力する。

なお、表示処理部４００は、ＯＳＤ表示用のデータの重畳処理などの表示処理のみを施す構成であってもよい。この場合には、例えば、画像処理部３００が、ＤＲＡＭ５０１から取得（読み出し）した画像データに対して、リサイズ（縮小）処理以外の表示用の画像処理を施した表示用の画像データを生成し、生成した表示用の画像データを、再びＤＲＡＭ５０１に格納する（書き込む）。そして、表示処理部４００は、ＤＲＡＭ５０１に格納されている表示用の画像データを取得し（読み出し）、取得した表示用の画像データにＯＳＤ表示用のデータの重畳処理などの表示処理を施すことになる。

次に、本実施形態の撮像装置２０の動作の一例について説明する。図６は、本第２の実施形態の撮像装置２０による評価値生成および画像表示の動作と、バス帯域との一例を模式的に示した図である。撮像装置２０は、第１の実施形態の撮像装置１０と同様に、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うためのＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成しながら、イメージセンサ１００から出力される画素信号に応じた撮像画像を順次、表示フレームレートに合わせて表示デバイス４０１に表示する。

図６には、図５に示した撮像装置２０のブロック図上に、評価値生成動作および画像表示動作におけるデータの経路を示している。また、図６には、それぞれのデータの経路でやり取りされる画像データの大きさ（サイズ）を模式的に示した図を追加して示している。そして、以下の説明においては、撮像装置２０による評価値生成動作および画像表示動作のそれぞれの処理手順を、順を追って説明すると共に、データバス７００上で同時期にやり取りされる画像データの大きさを説明することで、データバス７００のバス帯域についての説明を行う。また、以下の説明において、イメージセンサ１００の画素信号に対応した画像サイズは、図４に示した第１の実施形態の撮像装置１０における画像サイズ１００ｏと同様の大きさであるものとする。

なお、図６に示した撮像装置２０による評価値生成および画像表示の動作の一例におけるイメージセンサ１００と表示デバイス４０１とのタイミングの関係は、図３に示した第１の実施形態の撮像装置１０におけるイメージセンサ１００と表示デバイス４０１とタイミングの関係と同様であるため、詳細な説明は省略する。

（手順１）：まず、手順１では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、例えば、図６（ａ）に示した経路Ｃ２１を、データの経路として選択する。そして、撮像装置２０は、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置２０は、前処理画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、手順１では、ＣＰＵ６００は、リサイズ処理部８００のリサイズ（縮小）処理をＯＦＦにし、リサイズ（縮小）処理を行わない。

より具体的には、イメージセンサ１００から出力された画像サイズ１００ｏの大きさの画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施す。前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する。そして、セレクタ２３０、セレクタ２５０、およびセレクタ２６０のそれぞれは、前処理部２２０から入力された前処理画像データを、対応するＡＥ評価値生成部２３１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１に、それぞれ出力する。

ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、前処理部２２０から入力された前処理画像データに基づいて演算（生成）したＡＥ評価値およびＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、出力ＤＭＡ部２６１は、前処理部２２０から入力された前処理画像データ（ベイヤーデータ）を、第１フレームの撮像画像として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。ここでは、出力ＤＭＡ部２６１は、図６（ａ）に示した画像サイズ２６１ｏ１の大きさ（＝画像サイズ１００ｏの大きさ）の撮像画像（前処理画像データ）を、第１フレームの撮像画像として、ＤＲＡＭ５０１に格納する。

（手順２）：続いて、手順２では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、例えば、図６（ｂ）に示した経路Ｃ２２、経路Ｃ２３、および経路Ｃ２４を、それぞれのデータの経路として選択する。また、手順２では、ＣＰＵ６００は、リサイズ処理部８００のリサイズ（縮小）処理をＯＮにする。そして、撮像装置２０は、手順１と同様に、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。

また、同時に、撮像装置２０は、ＤＲＡＭ５０１に格納されている第１フレームの撮像画像を取得し（読み出し）、取得した第１フレームの撮像画像の画像データと、前処理した前処理画像データ（ベイヤーデータ）とを合成し、合成した画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置２０は、合成した画像データ（ベイヤーデータ）をリサイズ（縮小）処理し、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

より具体的には、イメージセンサ１００から出力された画像サイズ１００ｏの大きさの画素信号が、撮像処理部２００に入力され、撮像処理部２００内の撮像ＩＦ部２１０は、入力された画素信号を画像データとして前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを処理部２２２ａに転送し、処理部２２２ａ〜２２２ｃのそれぞれは、入力された画像データに対して順次前処理（補正処理）を施し、合成部２２４に出力する。また、前処理部２２０は、処理部２２２ｃが前処理（補正処理）した前処理画像データを、セレクタ２３０を介してＡＥ評価値生成部２３１に、セレクタ２５０を介してＡＦ評価値生成部２５１に、それぞれ出力する（経路Ｃ２２参照）。

また、同時に、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている図６（ｂ）に示した画像サイズ２７０ｉの大きさ（＝画像サイズ２６１ｏ１の大きさ）の第１フレームの撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した第１フレームの撮像画像の画像データを前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された第１フレームの撮像画像の画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された第１フレームの撮像画像の画像データを、予め定めた時間だけ遅らせ、合成部２２４に出力する（経路Ｃ２３参照）。

そして、合成部２２４は、処理部２２２ｃが前処理（補正処理）した前処理画像データ、すなわち、第２フレームの撮像画像と、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、第１フレームの撮像画像とを合成した、図６（ｂ）に示した画像サイズ２６１ｏ２の大きさ（＝画像サイズ２６１ｏ１の大きさ）の合成画像データを生成する。そして、前処理部２２０は、合成部２２４が生成した合成画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に、セレクタ２６０を介して出力ＤＭＡ部２６１に、それぞれ出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された合成画像データ（ベイヤーデータ）をリサイズ（縮小）処理した、図６（ｂ）に示した画像サイズ２６１ｏＳの大きさ（＜画像サイズ２６１ｏ２の大きさ）の合成画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ２４参照）。

その後、撮像装置２０は、ＤＲＡＭ５０１に格納されているリサイズ（縮小）処理した合成画像データ（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示する。このとき、例えば、図６（ｂ）に示した経路Ｃ２５で、表示処理部４００にデータが入力される。

より具体的には、表示処理部４００が、ＤＲＡＭ５０１に格納されている画像サイズ２６１ｏＳの大きさ（＜画像サイズ２６１ｏ２の大きさ）の合成画像データを、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した合成画像データに対して、リサイズ（縮小）処理以外の表示処理を施した表示用の画像データ（表示画像）を生成する。そして、表示処理部４００は、生成した表示画像を、表示デバイス４０１に出力する。これにより、リサイズ処理部８００によってリサイズ（縮小）処理した合成画像データに応じた表示画像が、表示デバイス４０１に表示される。

以降、撮像装置２０は、手順１における第１フレームの撮像画像（前処理画像データ）に基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、第１フレームの撮像画像（ベイヤーデータ）のＤＲＡＭ５０１への格納、および手順２における第２フレームの撮像画像（前処理画像データ）に基づいたＡＥ評価値およびＡＦ評価値の演算（生成）と、合成画像データの生成と、合成画像データに基づいたＡＷＢ評価値の演算（生成）と、リサイズ（縮小）処理した合成画像データ（ベイヤーデータ）のＤＲＡＭ５０１への格納とを繰り返す。また、表示処理部４００は、手順２におけるリサイズ（縮小）処理した合成画像データ（ベイヤーデータ）に応じた表示画像の生成、および表示デバイス４０１への出力を繰り返す。

このように、撮像装置２０では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図６に示したような、画像データを処理する経路を選択する。これにより、撮像装置２０では、イメージセンサ１００からの画素信号に応じた画像データに基づいて、撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うためのそれぞれの評価値を生成しながら、イメージセンサ１００からの画素信号に応じた表示画像を順次、表示フレームレートに合わせて表示デバイス４０１に表示することができる。

このとき、表示デバイス４０１に表示する表示画像は、第１フレームの撮像画像と第２フレームの撮像画像とを合成した合成画像データに応じた画像である。このため、イメージセンサ１００から画素信号を取り込んで評価値を生成するための撮像フレームレートと、表示デバイス４０１に合成画像データを表示する表示フレームレートとが異なるフレームレートであっても、撮像フレームレートで、より多くの評価値を得ることができる。また、表示画像を生成するための合成画像データは、リサイズ（縮小）処理した合成画像データである。このため、撮像装置２０では、データバス７００のバス帯域の圧迫を軽減することができる。また、表示処理部４００が表示画像を生成する際の処理の負荷を低減することができる。

なお、図６に示した撮像装置２０による評価値生成および画像表示の動作の一例では、合成部２２４が２フレーム分の撮像画像の画像データを、合成画像データとして合成する場合について説明したが、撮像フレームレートと表示フレームレートとに応じて、さらに多くのフレームの撮像画像の画像データを合成することもできる。

ここで、本実施形態の撮像装置２０の動作の別の一例について説明する。図７は、本第２の実施形態の撮像装置２０による評価値生成および画像表示の動作と、バス帯域との別の一例を模式的に示した図である。図７には、３フレーム分の撮像画像の画像データを、合成画像データとして合成する場合の評価値生成および画像表示の動作の一例を示している。図７に示した動作の一例においても、撮像装置２０は、図６に示した動作の一例と同様に、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うためのＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成しながら、イメージセンサ１００から出力される画素信号に応じた撮像画像を順次、表示フレームレートに合わせて表示デバイス４０１に表示する。

図７には、図６に示した動作の一例と同様に、図５に示した撮像装置２０のブロック図上に、評価値生成動作および画像表示動作におけるデータの経路と、それぞれのデータの経路でやり取りされる画像データの大きさ（サイズ）を模式的に示した図とを示している。以下の説明においては、撮像装置２０による評価値生成動作および画像表示動作のそれぞれの処理手順と、データバス７００のバス帯域についての説明を行うが、図６に示した動作と異なる動作に注目して説明を行う。なお、イメージセンサ１００の画素信号に対応した画像サイズは、図６に示した動作の一例と同様の大きさ（画像サイズ１００ｏ）であるものとする。

なお、図７に示した動作の一例におけるイメージセンサ１００と表示デバイス４０１とのタイミングの関係は、図３に示した第１の実施形態の撮像装置１０におけるイメージセンサ１００と表示デバイス４０１とタイミングの関係における合成する撮像画像の数が、２フレーム分から３フレーム分に変わったのみである。従って、図７に示した動作の一例におけるイメージセンサ１００と表示デバイス４０１とのタイミングの関係も、図３に示した第１の実施形態の撮像装置１０におけるイメージセンサ１００と表示デバイス４０１とタイミングの関係と同様に考えることができるため、詳細な説明は省略する。

（手順１）：まず、手順１では、図６に示した動作における手順１と同様に、ＣＰＵ６００が、それぞれのセレクタ２２１を制御して、図７（ａ）に示した経路Ｃ２１をデータの経路として選択する。そして、撮像装置２０は、イメージセンサ１００から出力された画像サイズ１００ｏの大きさの画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。

また、撮像装置２０は、図６に示した動作における手順１と同様に、前処理画像データ（ベイヤーデータ）を第１フレームの撮像画像として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。ここでは、出力ＤＭＡ部２６１は、図７（ａ）に示した画像サイズ２６１ｏ１の大きさ（＝画像サイズ１００ｏの大きさ）の撮像画像（前処理画像データ）を、第１フレームの撮像画像として、ＤＲＡＭ５０１に格納する。なお、手順１では、ＣＰＵ６００は、リサイズ処理部８００のリサイズ（縮小）処理をＯＦＦにし、リサイズ（縮小）処理を行わない。

（手順２）：続いて、手順２では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とを制御して、図７（ｂ）に示した経路Ｃ２２、経路Ｃ２３、および経路Ｃ２４を、それぞれのデータの経路として選択する。そして、撮像装置２０は、手順１と同様に、イメージセンサ１００から出力された画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。

また、同時に、撮像装置２０は、ＤＲＡＭ５０１に格納されている第１フレームの撮像画像を取得し（読み出し）、取得した第１フレームの撮像画像の画像データと、前処理した前処理画像データ（ベイヤーデータ）とを合成し、合成した画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置２０は、合成した画像データ（ベイヤーデータ）を、第１＋２フレームの撮像画像として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。なお、手順２でも、ＣＰＵ６００は、リサイズ処理部８００のリサイズ（縮小）処理をＯＦＦにし、リサイズ（縮小）処理を行わない。

また、同時に、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている図７（ｂ）に示した画像サイズ２７０ｉ１の大きさ（＝画像サイズ２６１ｏ１の大きさ）の第１フレームの撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した第１フレームの撮像画像の画像データを前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された第１フレームの撮像画像の画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された第１フレームの撮像画像の画像データを、予め定めた時間だけ遅らせ、合成部２２４に出力する（経路Ｃ２３参照）。

そして、合成部２２４は、処理部２２２ｃが前処理（補正処理）した前処理画像データ、すなわち、第２フレームの撮像画像と、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、第１フレームの撮像画像とを合成した、図７（ｂ）に示した画像サイズ２６１ｏ２の大きさ（＝画像サイズ２６１ｏ１の大きさ）の合成画像データを生成する。そして、前処理部２２０は、合成部２２４が生成した合成画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に、セレクタ２６０を介して出力ＤＭＡ部２６１に、それぞれ出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された、図７（ｂ）に示した画像サイズ２６１ｏ２の大きさ（＝画像サイズ１００ｏの大きさ）の合成画像データ（ベイヤーデータ）を、第１＋２フレームの撮像画像として、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ２４参照）。

（手順３）：続いて、手順３では、図６に示した動作における手順２と同様に、リサイズ処理部８００のリサイズ（縮小）処理をＯＮにする。なお、手順３におけるデータの経路は、手順２と同様の経路、すなわち、図７（ｂ）および図７（ｃ）に示した経路Ｃ２２、経路Ｃ２３、および経路Ｃ２４を、ＣＰＵ６００が選択する。そして、撮像装置１０は、手順１および手順２と同様に、イメージセンサ１００から出力された画像サイズ１００ｏの大きさの画素信号に応じた画像データを前処理し、前処理した前処理画像データ（ベイヤーデータ）に基づいて評価値を生成する。

また、同時に、撮像装置２０は、図６に示した動作における手順２と同様に、ＤＲＡＭ５０１に格納されている第１＋２フレームの撮像画像を取得し（読み出し）、取得した第１＋２フレームの撮像画像の画像データと、前処理した前処理画像データ（ベイヤーデータ）とを合成し、合成した画像データ（ベイヤーデータ）に基づいて評価値を生成する。また、撮像装置２０は、合成した画像データ（ベイヤーデータ）をリサイズ（縮小）処理し、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

また、同時に、撮像処理部２００内の入力ＤＭＡ部２７０が、ＤＲＡＭ５０１に格納されている図７（ｃ）に示した画像サイズ２７０ｉ２の大きさ（＝画像サイズ２６１ｏ２の大きさ）の第１＋２フレームの撮像画像を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した第１＋２フレームの撮像画像の画像データを前処理部２２０に出力する。そして、前処理部２２０内のセレクタ２２１は、入力ＤＭＡ部２７０から入力された第１＋２フレームの撮像画像の画像データをディレイ部２２３ａに転送し、ディレイ部２２３ａ〜２２３ｃのそれぞれは、入力された第１＋２フレームの撮像画像の画像データを、予め定めた時間だけ遅らせ、合成部２２４に出力する（経路Ｃ２３参照）。

そして、合成部２２４は、処理部２２２ｃが前処理（補正処理）した前処理画像データ、すなわち、第３フレームの撮像画像と、ディレイ部２２３ｃが遅らせた遅延画像データ、すなわち、第１＋２フレームの撮像画像とを合成した、図７（ｃ）に示した画像サイズ２６１ｏ３の大きさ（＝画像サイズ２６１ｏ２の大きさ）の合成画像データを生成する。そして、前処理部２２０は、合成部２２４が生成した合成画像データを、セレクタ２４０を介してＡＷＢ評価値生成部２４１に、セレクタ２６０を介して出力ＤＭＡ部２６１に、それぞれ出力する。そして、出力ＤＭＡ部２６１は、前処理部２２０から入力された合成画像データ（ベイヤーデータ）をリサイズ（縮小）処理した、図７（ｃ）に示した画像サイズ２６１ｏＳの大きさ（＜画像サイズ２６１ｏ３の大きさ）の合成画像データ（ベイヤーデータ）を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する（経路Ｃ２４参照）。

また、ＡＥ評価値生成部２３１およびＡＦ評価値生成部２５１は、前処理部２２０から入力された前処理画像データ（第３フレームの撮像画像）に基づいて演算（生成）したＡＥ評価値およびＡＦ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。また、ＡＷＢ評価値生成部２４１は、前処理部２２０から入力された合成画像データに基づいて、ＡＷＢ評価値を演算（生成）し、生成したＡＷＢ評価値を、ＤＲＡＭコントローラ５００を介してＤＲＡＭ５０１に格納する。

その後、撮像装置２０は、ＤＲＡＭ５０１に格納されているリサイズ（縮小）処理した画像サイズ２６１ｏＳの大きさ（＜画像サイズ２６１ｏ２の大きさ）の合成画像データ（ベイヤーデータ）に応じた表示画像を、表示デバイス４０１に表示する。このとき、図７（ｃ）に示した経路Ｃ２５で、表示処理部４００にデータが入力される。

以降、撮像装置２０は、手順１〜手順３の動作を繰り返す。また、撮像装置２０は、手順３におけるリサイズ（縮小）処理した合成画像データ（ベイヤーデータ）に応じた表示画像の表示デバイス４０１への表示を繰り返す。

このように、撮像装置２０では、ＣＰＵ６００が、セレクタ２２１と、セレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０とによって、それぞれの処理手順で、図７に示したような、画像データを処理する経路を選択する。また、ＣＰＵ６００が、リサイズ処理部８００によるリサイズ（縮小）処理のＯＮまたはＯＦＦを制御する。これにより、撮像装置２０では、イメージセンサ１００からの画素信号に応じた画像データに基づいて、撮影に関する制御（ＡＥ、ＡＷＢ、およびＡＦの制御）を行うためのそれぞれの評価値を生成しながら、イメージセンサ１００からの画素信号に応じた表示画像を順次、表示フレームレートに合わせて表示デバイス４０１に表示することができる。

このとき、表示デバイス４０１に表示する表示画像は、表示フレームレート内に含まれる、撮像フレームレートで取り込んだ全てのフレーム（図７に示した動作の一例においては、３フレーム）の撮像画像を合成した合成画像データに応じた画像である。このため、イメージセンサ１００から画素信号を取り込んで評価値を生成するための撮像フレームレートと、表示デバイス４０１に合成画像データを表示する表示フレームレートとが異なるフレームレートであっても、撮像フレームレートで、より多くの評価値を得ることができる。また、表示画像を生成するための合成画像データは、リサイズ（縮小）処理した合成画像データである。このため、撮像装置２０では、データバス７００のバス帯域の圧迫を軽減することができる。また、表示処理部４００が表示画像を生成する際の処理の負荷を低減することができる。

なお、図６および図７に示した撮像装置２０による評価値生成および画像表示の動作の一例では、手順１においてＡＷＢ評価値生成部２４１が評価値を生成していない場合の例について説明したが、手順１において、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１が、それぞれの評価値を生成する動作にしてもよい。すなわち、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を、イメージセンサ１００からの画素信号に応じた前処理画像データである、現在のフレームの撮像画像から生成し、合成画像データを、表示デバイス４０１に表示するための画像データとして使用する動作にしてもよい。

上記に述べたように、本第２の実施形態における撮像装置２０でも、第１の実施形態における撮像装置１０と同様に、イメージセンサ１００から出力される画素信号の撮像フレームレートで評価値を生成する。これにより、本第２の実施形態における撮像装置２０でも、第１の実施形態における撮像装置１０と同様に、イメージセンサ１００の撮像フレームレートを高くすることによってより多くの評価値を得ることができ、撮像装置２０における撮影に関する制御を高速化することができる。

また、本第２の実施形態における撮像装置２０では、第１の実施形態における撮像装置１０と同様に、イメージセンサ１００から出力される画素信号に応じた画像データを、フレームの単位で合成する。これにより、本第２の実施形態における撮像装置２０でも、第１の実施形態における撮像装置１０と同様に、イメージセンサ１００の撮像フレームレートと表示デバイス４０１の表示フレームレートとが異なる場合でも、イメージセンサ１００から取り込んだ撮像画像のフレームを間引くことなく、良好な表示画像を表示デバイス４０１に表示することができる。

また、本第２の実施形態における撮像装置２０では、表示処理部４００が表示画像を生成する際に用いる画像データを事前にリサイズ（縮小）処理し、リサイズ（縮小）処理した後の画像データをＤＲＡＭ５０１に格納する。これにより、本第２の実施形態における撮像装置２０では、データバス７００のバス帯域の圧迫を軽減することができる。また、表示処理部４００が表示画像を生成する際の処理の負荷を低減することができる。

なお、本第２の実施形態における撮像装置２０では、図５に示したブロック図のように、セレクタ２６０と出力ＤＭＡ部２６１との間に、１つのリサイズ処理部８００が追加された構成について説明した。しかし、撮像装置２０に備えるリサイズ処理部は、１つに限定されるものではない。例えば、リサイズ（縮小）処理を行う画像データが複数存在する場合には、図８に示したように、複数のリサイズ処理部を備える構成にすることもできる。

＜第２の実施形態の第１の変形例＞
図８は、本第２の実施形態における撮像装置２０の別の概略構成を示したブロック図である。以下の説明においては、図８に示した撮像装置を、撮像装置２１という。撮像装置２１は、図５に示した撮像装置２０内の撮像処理部２００において、リサイズ処理部８００と並列に、予め定めたリサイズ処理部８００と異なる画像の大きさにリサイズ（縮小）処理を行うリサイズ処理部８０１を追加したのみである。従って、撮像装置２１の動作は、同時に２種類のリサイズ（縮小）処理が行われた画像データ出力される以外は、第２の実施形態の撮像装置２０と同様であるため、詳細な説明は省略する。

図８に示した撮像装置２１では、リサイズ処理部８００およびリサイズ処理部８０１のそれぞれが、後段の処理で用いる画像の大きさに合わせてリサイズ（縮小）処理した画像データを出力する。そして、出力ＤＭＡ部２６１は、リサイズ処理部８００およびリサイズ処理部８０１から入力されたそれぞれの画像データを、順次、ＤＭＡによってＤＲＡＭ５０１に格納する。これにより、後段の処理では、最適な大きさの画像データを用いて処理を行うことができる。

また、本第２の実施形態における撮像装置２０では、表示画像を生成する際に用いる画像データを生成するとき以外は、リサイズ処理部８００によるリサイズ（縮小）処理をＯＦＦにする。より具体的には、図６に示した動作の一例における手順２および図７に示した動作の一例における手順３以外は、リサイズ（縮小）処理をＯＦＦにする。これにより、本第２の実施形態における撮像装置２０では、合成部２２４によって各フレームの撮像画像を合成処理する際の画像データは、リサイズ（縮小）されていない画像データとなる。このことにより、本第２の実施形態における撮像装置２０では、イメージセンサ１００から入力される画素信号に応じた撮像画像の画質を保った状態で、各フレームの撮像画像を合成処理することができる。

ただし、本第２の実施形態における撮像装置２０では、図６に示した動作の一例における手順２または図７に示した動作の一例における手順３以外の手順では、データバス７００のバス帯域の圧迫を軽減することができていない。このため、図６に示した動作の一例における手順２または図７に示した動作の一例における手順３以外の手順でも、データバス７００のバス帯域の圧迫を軽減することが構成として、図９に示したように、リサイズ（拡大）処理するリサイズ処理部を備える構成にすることもできる。

＜第２の実施形態の第２の変形例＞
図９は、本第２の実施形態における撮像装置２０のさらに別の概略構成を示したブロック図である。以下の説明においては、図９に示した撮像装置を、撮像装置２２という。撮像装置２２は、図５に示した撮像装置２０内の撮像処理部２００において、入力ＤＭＡ部２７０と前処理部２２０内のセレクタ２２１との間に、リサイズ処理部９００が追加されたのみであり、その他の構成要素は、本第２の実施形態の撮像装置２０と同様である。従って、撮像装置２２の説明においては、本第２の実施形態の撮像装置２０とは異なる構成、および動作のみを説明して、詳細な説明は省略する。

入力ＤＭＡ部２７０は、ＤＭＡによって、ＤＲＡＭ５０１に格納されている画像データ（以前のフレームの撮像画像）を、ＤＲＡＭコントローラ５００を介して取得し（読み出し）、取得した画像データをリサイズ処理部９００に出力する。

リサイズ処理部９００は、入力ＤＭＡ部２７０から入力された画像データを、撮像ＩＦ部２１０が出力する、イメージセンサ１００から入力された画素信号に応じた画像データ（撮像画像）の画像の大きさにリサイズ（拡大）する。そして、リサイズ処理部９００は、リサイズ（拡大）した画像データを、前処理部２２０に出力する。なお、リサイズ処理部９００によるリサイズ（拡大）の処理の方法は、例えば、表示処理部４００が行うリサイズ（縮小）の処理と逆の方法と同様であるため、詳細な説明は省略する。

なお、リサイズ処理部９００は、入力ＤＭＡ部２７０から入力された画像データに対してリサイズ（拡大）処理を施すか否かを切り換える、すなわち、リサイズ（拡大）処理をＯＮまたはＯＦＦにする機能を備えている。リサイズ処理部９００によるリサイズ（拡大）処理のＯＮまたはＯＦＦの切り換えは、撮像装置２０における評価値生成および画像表示の動作の手順に毎に、ＣＰＵ６００が制御する。

セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データ（現在のフレームの撮像画像）、およびリサイズ処理部９００から入力された画像データ（以前のフレームの撮像画像）の出力先を選択する。より具体的には、セレクタ２２１は、撮像ＩＦ部２１０から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。また、セレクタ２２１は、リサイズ処理部９００から入力された画像データを、処理部２２２ａまたはディレイ部２２３ａのいずれか一方に出力する。

そして、撮像装置２２の動作では、撮像装置２０による評価値生成および画像表示の動作において、リサイズ処理部８００によるリサイズ（縮小）処理をＯＦＦにしていた手順で、リサイズ（縮小）処理をＯＮにし、リサイズ処理部９００によるリサイズ（拡大）処理もＯＮにする。

より具体的には、例えば、図７に示した動作の一例において、手順１および手順２の両方ともリサイズ処理部８００によるリサイズ（縮小）処理をＯＮにし、リサイズ処理部９００によるリサイズ（拡大）処理もＯＮにする。これにより、出力ＤＭＡ部２６１がＤＲＡＭ５０１に格納する、図７（ａ）に示した画像サイズ２６１ｏ１の大きさ（手順１参照）、および図７（ｂ）に示した画像サイズ２６１ｏ２の大きさ（手順２参照）が、図７（ｃ）に示した画像サイズ２６１ｏＳの大きさ（手順３参照）と同じ大きさになる。また、入力ＤＭＡ部２７０がＤＲＡＭ５０１から取得する（読み出す）、図７（ｂ）に示した画像サイズ２７０ｉ１の大きさ（手順２参照）、および図７（ｃ）に示した画像サイズ２７０ｉ２の大きさ（手順３参照）が、図７（ｃ）に示した画像サイズ２６１ｏＳの大きさ（手順３参照）と同じ大きさになる。

これにより、図９に示した撮像装置２２では、撮像装置２０においてデータバス７００のバス帯域の圧迫を軽減することができていなかった動作においても、データバス７００上に同時期に存在する画像データの大きさを、リサイズ（縮小）処理した後の画像データの大きさにすることができる。このことにより、図９に示した撮像装置２２では、常にデータバス７００のバス帯域の圧迫を軽減することができる。より具体的には、図６に示した動作の一例における手順２および図７に示した動作の一例における手順３以外の手順でも、データバス７００上に同時期に存在する画像データの大きさを、図６（ｂ）および図７（ｃ）に示した画像サイズ２６１ｏＳの大きさにすることができ、データバス７００のバス帯域の圧迫を軽減することができる。

上記に述べたとおり、本発明を実施するための形態では、撮像装置の撮像処理部内に、ＤＲＡＭに格納された画像データを取得する（読み出す）入力ＤＭＡ部（本実施形態においては、入力ＤＭＡ部２７０）を設けた。また、撮像処理部に備えた評価値生成部（本実施形態においては、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、およびＡＦ評価値生成部２５１）のそれぞれの前段（画像データの入力部）に、対応する評価値生成部に入力する画像データを選択するセレクタ（本実施形態においては、セレクタ２３０、セレクタ２４０、およびセレクタ２５０）を設けた。また、撮像処理部に備えた前処理部（本実施形態においては、前処理部２２０）内に、現在のフレームの画像データと以前のフレームの画像データとを合成した合成画像データを生成する合成部（本実施形態においては、合成部２２４）を設けた。

これにより、本発明を実施するための形態によれば、イメージセンサ（本実施形態においては、イメージセンサ１００）から画素信号を取り込んで評価値を生成するための画像データのフレームレート（撮像フレームレート）を高くすることによって、より多くの評価値を得ることができる撮像装置を実現することができる。そして、この場合でも、イメージセンサから得られた各フレームの撮像画像を間引くことなく、すなわち、画像データの情報を減らすことなく、撮像装置（本実施形態においては、撮像装置１０および撮像装置２０）に備えた表示デバイス（本実施形態においては、表示デバイス４０１）が画像を表示することができるフレームレート（表示フレームレート）で、表示デバイスに画像を表示することができる。

また、本発明を実施するための形態によれば、評価値生成部に入力して評価値を生成する画像データを、リアルタイムに入力される画像データ、ＤＲＡＭに格納された画像データ、または各フレームの画像データを合成した画像データのいずれか一方に切り換えることができる。これにより、本発明を実施するための形態によれば、同じ評価値生成部を用いて（同じ評価値生成部を流用して）、様々な画像データに基づいたそれぞれの評価値を生成することができる。

より具体的には、例えば、第１の実施形態の撮像装置１０では、ＣＰＵ６００がセレクタ２２１を制御することによって、処理部２２２ａ〜２２２ｃおよびディレイ部２２３ａ〜２２３ｃに転送する画像データを選択する。また、ＣＰＵ６００がセレクタ２３０、セレクタ２４０、セレクタ２５０、およびセレクタ２６０を制御することによって、ＡＥ評価値生成部２３１、ＡＷＢ評価値生成部２４１、ＡＦ評価値生成部２５１、および出力ＤＭＡ部２６１に入力する画像データを選択する。これにより、第１の実施形態の撮像装置１０では、評価値を生成する画像データや、ＤＲＡＭ５０１に格納する画像データを切り換えることができる。すなわち、第１の実施形態の撮像装置１０では、イメージセンサ１００から出力される画素信号に応じた現在のフレームの画像データや、ＤＲＡＭコントローラ５００を介して取得し（読み出し）した以前のフレームの画像データや、現在のフレームの画像データと以前のフレームの画像データとを合成した画像データに基づいて、ＡＥ評価値、ＡＷＢ評価値、およびＡＦ評価値を生成することができる。これにより、適切な画像データから、必要なタイミングで、撮影に関するＡＥ、ＡＷＢ、およびＡＦの制御を行うための評価値を得ることができる。例えば、高速化の必要がない制御は、合成画像データに基づいて、表示フレームレートで評価値を得ることによって、撮像装置１０の消費電力が必要以上に高くなることなく、適切な制御を行うことができる。

また、本発明を実施するための形態によれば、撮像処理部内に、画像データをリサイズ（縮小）するリサイズ処理部（本実施形態においては、リサイズ処理部８００）を設けた。これにより、本発明を実施するための形態によれば、イメージセンサから入力される画素信号に応じた撮像画像を表示デバイスに順次表示するときに、データバスのバス帯域の圧迫を軽減することができる。このことにより、表示処理部が表示画像を生成する際の処理の負荷を低減することができる。特に、本実施形態においては、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている撮像画像を取得し（読み出し）、出力ＤＭＡ部２６１が、合成画像データをＤＲＡＭ５０１に格納するとき、２フレーム分の撮像画像の画像データが、データバス７００上に同時期に存在するが、同時期に存在する２フレーム分の撮像画像の画像データの大きさを小さくすることによって、データバス７００のバス帯域の圧迫を軽減することができる。

なお、本実施形態においては、例えば、撮像装置１０において、撮像ＩＦ部２１０が現在のフレームの撮像画像と以前のフレームの撮像画像とを、同じタイミングで処理している。これは、前処理部２２０内に設けたセレクタ２２１とディレイ部２２３ａ〜２２３ｃとによるものである。また、撮像ＩＦ部２１０が異なるタイミングで取り込んだ異なる画像データを同時に処理する方法として、例えば、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている以前のフレームの撮像画像を取得する（読み出す）タイミングを、ＣＰＵ６００が制御する方法も考えられる。しかし、ＣＰＵ６００がリアルタイムに撮像ＩＦ部２１０から入力される現在のフレームの撮像画像と同じタイミングに制御するのは容易ではない。撮像装置１０では、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けているため、容易に、以前のフレームの撮像画像のタイミングを、リアルタイムに取り込まれる現在のフレームの撮像画像のタイミングと同じタイミングにすることができる。

より具体的には、例えば、撮像装置１０において、セレクタ２２１によって、リアルタイムに撮像ＩＦ部２１０から入力されている現在のフレームの撮像画像を処理部２２２ａに転送し、入力ＤＭＡ部２７０から入力された、以前に撮像ＩＦ部２１０が取り込んだ以前のフレームの撮像画像をディレイ部２２３ａに転送する。そして、ディレイ部２２３ａ〜２２３ｃが、以前に撮像ＩＦ部２１０が取り込んだ以前のフレームの撮像画像を、処理部２２２ａ〜２２２ｃによってリアルタイムに前処理（補正処理）されている現在のフレームの撮像画像と同じタイミングにする。すなわち、合成部２２４には、同じタイミングで合成処理する２つの画像データが入力される。これにより、合成部２２４は、撮像ＩＦ部２１０が異なるタイミングで取り込んだ異なる画像データを、合成処理することができる。

また、本実施形態においては、前処理部２２０内に備えた処理部２２２ａ〜２２２ｃのそれぞれに対応する３つのディレイ部２２３ａ〜２２３ｃを設け、それぞれのディレイ部２２３ａ〜２２３ｃが、入力された画像データを、対応する処理部２２２ａ〜２２２ｃの入力から出力までの遅延時間と同じ時間だけ遅らせて出力する場合について説明した。しかし、ディレイ部の構成は、本発明を実施するための形態に限定されるものではない。例えば、ディレイ部２２３ａ〜２２３ｃの代わりに、入力された画像データを、処理部２２２ａ〜２２２ｃによる前処理（補正処理）の合計の遅延時間と同じ時間だけ遅らせて出力するディレイ部を１つのみ設ける構成にすることもできる。

また、本実施形態においては、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けた場合について説明した。しかし、前処理部２２０内の構成は、本発明を実施するための形態に限定されるものではない。例えば、撮像ＩＦ部２１０がリアルタイムに取り込んで出力した画像データと、入力ＤＭＡ部２７０がＤＲＡＭ５０１に格納されている画像データを取得する（読み出す）タイミングとを、同じタイミングに制御することができる場合には、前処理部２２０内にディレイ部２２３ａ〜２２３ｃを設けない構成にすることもできる。この場合には、セレクタ２２１が、画像データをディレイ部２２３ａに転送する代わりに、入力された画像データを、合成部２２４およびセレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とのそれぞれに出力する構成になる。これにより、セレクタ２２１が、画像データをセレクタ２３０と、セレクタ２４０と、セレクタ２５０と、セレクタ２６０とに出力する場合には、セレクタ２２１が画像データを出力してから、それぞれの評価値生成部が評価値の生成を終了するまでの時間を短縮することができる。

また、本実施形態においては、前処理部２２０内に、入力された画像データを、処理部２２２ａ〜２２２ｃのそれぞれの入力から出力までの遅延時間と同じ時間だけ遅らせて出力するディレイ部２２３ａ〜２２３ｃを設けた場合について説明した。しかし、前処理部２２０内の構成は、本発明を実施するための形態に限定されるものではない。例えば、ディレイ部２２３ａ〜２２３ｃの代わりに、処理部２２２ａ〜２２２ｃをもう１組設けた構成にすることもできる。この場合には、リアルタイムに入力される画像データと、ＤＲＡＭに格納された画像データとの両方に、同時に前処理（補正処理）を施すことができる。なお、この場合には、前処理部の回路規模が増大してしまうことになるが、回路規模の増大よりも同時に異なる画像データに対して前処理（補正処理）を行えることが要求される撮像装置において有用であると考えられる。

以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。

１０，２０，２１，２２・・・撮像装置
１００・・・イメージセンサ（固体撮像装置）
２００・・・撮像処理部
２１０・・・撮像ＩＦ部（画像データインターフェース部）
２２０・・・前処理部（画像合成部，第１の前処理部，第２の前処理部）
２２１・・・セレクタ
２２２ａ，２２２ｂ，２２２ｃ・・・処理部（第１の前処理部，処理部，第１の処理部）
２２３ａ，２２３ｂ，２２３ｃ・・・ディレイ部（第２の前処理部，遅延部，第２の処理部）
２２４・・・合成部（画像合成部）
２３０・・・セレクタ（第１の画像データ選択部）
２３１・・・ＡＥ評価値生成部（評価値生成部）
２４０・・・セレクタ（第１の画像データ選択部）
２４１・・・ＡＷＢ評価値生成部（評価値生成部）
２５０・・・セレクタ（第１の画像データ選択部）
２５１・・・ＡＦ評価値生成部（評価値生成部）
２６０・・・セレクタ（第２の画像データ選択部）
２６１・・・出力ＤＭＡ部（画像データ書き込み部）
２７０・・・入力ＤＭＡ部（画像データ読み出し部）
３００・・・画像処理部
４００・・・表示処理部（表示部）
４０１・・・表示デバイス（表示部）
５００・・・ＤＲＡＭコントローラ（記憶部）
５０１・・・ＤＲＡＭ（記憶部）
６００・・・ＣＰＵ
７００・・・データバス
８００，８０１・・・リサイズ処理部（画像縮小部）
９００・・・リサイズ処理部（画像拡大部）

Claims

固体撮像装置から入力された画素信号に応じた画像データを、第１の画像データとして出力する画像データインターフェース部と、
データバスを介して、記憶部に記憶している画像データを読み出し、該読み出した画像データを、第２の画像データとして出力する画像データ読み出し部と、
前記第１の画像データに基づいた画像データと前記第２の画像データに基づいた画像データとを合成した第３の画像データを生成して出力する画像合成部と、
入力された画像データに基づいた評価値を生成する評価値生成部と、
前記第１の画像データに基づいた画像データ、前記第２の画像データに基づいた画像データ、または前記第３の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして選択する第１の画像データ選択部と、
入力された画像データを、データバスを介して前記記憶部に記憶させる画像データ書き込み部と、
前記第１の画像データに基づいた画像データ、前記第２の画像データに基づいた画像データ、または前記第３の画像データのいずれか１つの画像データを、前記画像データ書き込み部に入力する画像データとして選択する第２の画像データ選択部と、
前記画像データ書き込み部によって前記記憶部に記憶された前記第３の画像データを、データバスを介して前記記憶部から読み出し、該読み出した前記第３の画像データに応じた画像を表示する表示部と、
を備えることを特徴とする撮像装置。
前記画像データインターフェース部は、
前記表示部が画像の表示を更新する単位期間の間に、前記固体撮像装置から入力された画素信号に応じた複数の前記第１の画像データを順次出力し、
前記第２の画像データ選択部は、
前記表示部の前記単位期間が開始された後、前記画像データインターフェース部から最初に出力された前記第１の画像データに基づいた画像データを、前記画像データ書き込み部に入力する画像データとして選択し、
その後、前記表示部の前記単位期間が終了するまで、順次入力される前記第３の画像データを、前記画像データ書き込み部に入力する画像データとして選択し、
前記画像データ書き込み部は、
入力された最初の前記第１の画像データに基づいた画像データに引き続き、入力された前記第３の画像データを、前記記憶部に順次記憶させ、
前記画像データ読み出し部は、
前記記憶部に記憶されている最初の前記第１の画像データに基づいた画像データに引き続き、前記記憶部に記憶されている前記第３の画像データを、第２の画像データとして順次読み出し、
前記画像合成部は、
前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データと、前記画像データ読み出し部によって読み出された前記第２の画像データに基づいた画像データとを順次合成した前記第３の画像データを順次出力し、
前記表示部は、
該表示部の前記単位期間を終了したときに、前記記憶部に記憶されている最後に前記画像合成部によって合成された前記第３の画像データに応じた画像を表示し、
前記第１の画像データ選択部は、
前記表示部の前記単位期間の間に、
前記画像データインターフェース部から順次出力されてくる前記第１の画像データに基づいた画像データ、前記画像データ読み出し部によって順次読み出される前記第２の画像データに基づいた画像データ、または前記画像合成部によって順次合成される前記第３の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして順次選択し、
前記評価値生成部は、
順次入力される画像データに基づいて、評価値を順次生成する、
ことを特徴とする請求項１に記載の撮像装置。
前記第２の画像データ選択部と前記画像データ書き込み部との間に配置され、前記第２の画像データ選択部が選択した画像データを、予め定められた大きさに縮小し、該縮小した画像データを前記画像データ書き込み部に入力する画像データとして出力する画像縮小部、
をさらに備える、
ことを特徴とする請求項２に記載の撮像装置。
前記画像縮小部は、
前記表示部の前記単位期間の間で、最後に前記画像データ書き込み部に入力する画像データのみを縮小して前記画像データ書き込み部に出力する、
ことを特徴とする請求項３に記載の撮像装置。
前記第２の画像データ選択部と前記画像データ書き込み部との間に配置され、前記第２の画像データ選択部が選択した画像データを、予め定められた大きさに縮小し、該縮小した画像データを前記画像データ書き込み部に入力する画像データとして出力する複数の画像縮小部、
をさらに備え、
それぞれの前記画像縮小部は、
前記第２の画像データ選択部が選択した画像データを、それぞれ異なる予め定められた大きさに縮小し、該縮小したそれぞれの画像データを前記画像データ書き込み部に入力するそれぞれの画像データとして出力し、
前記画像データ書き込み部は、
それぞれの前記画像縮小部から入力された、縮小した画像データのそれぞれを、前記記憶部に順次記憶させる、
ことを特徴とする請求項２に記載の撮像装置。
それぞれの前記画像縮小部は、
前記表示部の前記単位期間の間で、最後に前記画像データ書き込み部に入力する画像データのみを縮小して前記画像データ書き込み部に出力する、
ことを特徴とする請求項５に記載の撮像装置。
前記第２の画像データ選択部と前記画像データ書き込み部との間に配置され、前記第２の画像データ選択部が選択した画像データを、予め定められた大きさに縮小し、該縮小した画像データを前記画像データ書き込み部に入力する画像データとして出力する画像縮小部と、
前記画像データ読み出し部の後段に配置され、該画像データ読み出し部によって読み出された前記第２の画像データを、前記画像データインターフェース部が出力する前記第１の画像データと同じ大きさに拡大し、該拡大した画像データを、前記第２の画像データとして出力する画像拡大部と、
をさらに備える、
ことを特徴とする請求項２に記載の撮像装置。
前記画像縮小部は、
前記表示部の前記単位期間の間に前記画像データ書き込み部に入力する画像データを全て縮小して前記画像データ書き込み部に出力し、
前記画像拡大部は、
前記表示部の前記単位期間の間に前記画像データ読み出し部によって読み出された前記第２の画像データを全て拡大して前記第２の画像データとして出力する、
ことを特徴とする請求項７に記載の撮像装置。
入力された画像データに対して、予め定められた処理を行う第１の前処理部と、
入力された画像データに対して、予め定められた処理を行う第２の前処理部と、
をさらに備え、
前記第１の前処理部は、
入力された前記第１の画像データまたは前記第２の画像データのいずれか一方の画像データに対して、予め定められた処理を行った画像データを、第４の画像データとして出力し、
前記第２の前処理部は、
入力された前記第１の画像データまたは前記第２の画像データのいずれか他方の画像データに対して、予め定められた処理を行った画像データを、第５の画像データとして出力し、
前記第１の画像データ選択部は、
前記第３の画像データ、前記第４の画像データ、または前記第５の画像データのいずれか１つの画像データを、前記評価値生成部に入力する画像データとして選択し、
前記第２の画像データ選択部は、
前記第３の画像データ、前記第４の画像データ、または前記第５の画像データのいずれか１つの画像データを、前記画像データ書き込み部に入力する画像データとして選択する、
ことを特徴とする請求項２から請求項８のいずれか１の項に記載の撮像装置。
前記第１の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの処理部であり、
前記第２の前処理部は、
入力された画像データを、予め定められた時間だけ遅延させて出力する処理を行う、少なくとも１つの遅延部である、
ことを特徴とする請求項９に記載の撮像装置。
前記予め定められた時間は、
前記第１の前処理部に画像データが入力されてから、前記予め定められた補正処理を行って出力するまでの遅延時間と同じ時間である、
ことを特徴とする請求項１０に記載の撮像装置。
前記第１の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第１の処理部であり、
前記第２の前処理部は、
入力された画像データに対して予め定められた補正処理を行う、少なくとも１つの第２の処理部である、
ことを特徴とする請求項９に記載の撮像装置。
前記評価値生成部が、前記固体撮像装置から入力された画素信号に応じた画像データに基づいた評価値を生成する場合、
前記第１の画像データ選択部は、
前記第１の画像データに基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、
前記評価値生成部が、前記記憶部に記憶している画像データに基づいた評価値を生成する場合、
前記第１の画像データ選択部は、
前記第２の画像データに基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、前記評価値生成部に入力する画像データとして選択し、
前記評価値生成部が、前記第３の画像データに基づいた評価値を生成する場合、
前記第１の画像データ選択部は、
前記第３の画像データを、前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項１１または請求項１２に記載の撮像装置。
当該撮像装置は、
複数の前記評価値生成部と、
複数の前記評価値生成部のそれぞれに対応した複数の前記第１の画像データ選択部と、
を備え、
それぞれの前記第１の画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる、前記第３の画像データ、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第４の画像データ、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第５の画像データのいずれか１つの画像データを、対応する前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項１３に記載の撮像装置。
少なくとも１つの前記第１の画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる、前記第１の画像データまたは前記第２の画像データのいずれか一方に基づいた前記第４の画像データまたは前記第５の画像データのいずれか一方の画像データを、対応する前記評価値生成部に入力する画像データとして選択し、
少なくとも別の１つの前記第１の画像データ選択部は、
対応する前記評価値生成部が評価値を生成する際に用いる、前記第１の画像データまたは前記第２の画像データのいずれか他方に基づいた前記第４の画像データまたは前記第５の画像データのいずれか他方の画像データ、または前記第３の画像データを、対応する前記評価値生成部に入力する画像データとして選択する、
ことを特徴とする請求項１４に記載の撮像装置。