JPWO2020137217A1 - 撮像素子、撮像装置、画像データ処理方法、及びプログラム - Google Patents

Abstract

第１フレームレートは第２フレームレートよりも高いフレームレートであり、第１プロセッサは、第２フレームレートで規定される１フレームの画像データの出力期間内に複数のフレーム分の画像データの読み出しを並行して行い、フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、記憶部に記憶された複数のフレームについての画像データの合成条件を決定し、決定した合成条件に応じて複数のフレームについての画像データに対する合成処理を行い、合成処理により得られた合成後の画像データを出力する、撮像素子。

Description

本開示は、撮像素子、撮像装置、画像データ処理方法、及びプログラムに関する。

特開２０１８−６９９３号公報には、連続的に取得された複数の画像のうちの第１画像のＳ／Ｎ（信号対雑音）比を向上させる処理を行って第３画像を生成し、上記複数の画像のうちの第２画像のＳ／Ｎ比を向上させる処理を行って第４画像を生成する画像処理装置が開示されている。この画像処理装置は、第１画像と第４画像とを合成して第１合成画像を生成し、第２画像と第３画像とを合成して第２合成画像を生成する。

ＷＯ２０１４／００７００４号公報には、画素アレイ部の各画素から信号線に読み出されるアナログ画素信号をデジタル化した画素データをフレームレートよりも速い第１速度で転送する信号処理部を備えた撮像装置が開示されている。この撮像装置は、信号処理部から転送される画素データを保持するメモリ部と、メモリ部から第１速度よりも遅い第２速度で画素データを読み出すデータ処理部とを更に備える。また、この撮像装置は、メモリ部から画素データを読み出す際に、信号線に接続されている電流源の動作及び信号処理部の動作を停止する制御を行う制御部を更に備える。

撮像装置においてローリングシャッタ方式の撮像が行われると、電子シャッタのローリングずれが生じる。ここで、電子シャッタのローリングずれとは、例えば、光電変換素子のうちの先頭ラインに対する露光が開始されてから最終ラインに対する露光が開始されるまでの時間差がある現象を指す。

また、動画像のように連続的に被写体を撮像する場合、連続するフレーム間でフォーカスレンズを移動させるための時間が十分に確保できないため、フォーカスレンズを動かしながら被写体を撮像する場合がある。この場合、ローリングずれに起因して、例えば、画像における上部を得るための撮像では合焦状態であるが、画像における下部を得るための撮像では合焦状態でなくなってしまう。そのため、画像における下部が、画像における上部に比べ、ボケてしまう、といった状況が発生し得る。すなわち、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合、画質が低下してしまう場合がある。

本開示は、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下を抑制することができる撮像素子、撮像装置、画像データ処理方法、及びプログラムを提供する。

本開示の撮像素子は、前記撮像素子に内蔵された記憶部と、前記撮像素子に内蔵された第１プロセッサと、を備える。前記第１プロセッサは、被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力する、ように構成されている。前記記憶部は、読み出された前記画像データを記憶する。前記第１フレームレートは前記第２フレームレートよりも高いフレームレートであり、前記第１プロセッサは、前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、前記記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、前記合成処理により得られた合成後の画像データを出力する。

本開示の撮像素子において、第１プロセッサは、合成条件として、予め定められた被写界深度閾値内の画像の範囲を合成処理による画像の合成範囲として決定するように構成されていてもよい。

本開示の撮像素子において、第１プロセッサは、記憶部に記憶された複数のフレームについての画像データのうち、フォーカス位置が被写界深度閾値内の状態で読み出された部分を用いて合成処理を行うように構成されていてもよい。

本開示の撮像素子において、第１プロセッサは、記憶部に記憶された複数のフレームについての画像データにおいて、フォーカス位置が被写界深度閾値内の状態で読み出された部分が重複する場合、重複する部分については位置が対応する画素の画素値を加算平均するか、又は何れかの画像の画素値を用いることによって合成処理を行うように構成されていてもよい。

本開示の撮像素子において、第１プロセッサは、合成条件として、オートフォーカスにより合焦位置を予測する予測オートフォーカスによって予測された合焦位置を基準にして、合成処理による画像の合成範囲を決定するように構成されていてもよい。

本開示の撮像素子において、フリッカが検出された場合、第１プロセッサは、合成条件として、フリッカの影響が回避されるタイミングを基準にして、合成処理による画像の合成範囲を決定するように構成されていてもよい。

本開示の撮像素子において、第１プロセッサは、マトリクス状に配置された複数のフォトセンサから画像データを読み出す場合に、第２フレームレートで規定される１フレームの画像データの出力期間内における露光期間の分割数を同時にＡＤ（Analog-to-Digital）変換が可能なライン数に応じた値とするように構成されていてもよい。

本開示の撮像素子において、第１プロセッサは、露光期間の分割数を同時にＡＤ変換が可能なライン数以下の値とするように構成されていてもよい。

本開示の撮像素子において、第１プロセッサは、画像データにより示される画像がクロップされた場合、クロップされた領域を合成処理の対象範囲とするように構成されていてもよい。

本開示の撮像素子は、少なくとも光電変換素子と記憶部とが１チップ化されていてもよい。

本開示の撮像素子は、光電変換素子に記憶部が積層された積層型撮像素子であってもよい。

本開示の撮像装置は、本開示の撮像素子と、撮像素子に含まれる第１プロセッサにより出力された画像データを記憶媒体に記憶する制御を行うように構成されている第２プロセッサと、を含む。

本開示の撮像装置において、第２プロセッサは、ローリングずれ量及び被写界深度に応じてフォーカス駆動速度を制御するように構成されていてもよい。

本開示の画像データ処理方法は、被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、画像データに対して処理を行い、処理された画像データを第２フレームレートで出力するように構成されている第１プロセッサと、第１プロセッサにより読み出された画像データを記憶する記憶部と、が内蔵された撮像素子の画像データ処理方法であって、第１フレームレートを第２フレームレートよりも高いフレームレートとし、第１プロセッサが、第２フレームレートで規定される１フレームの画像データの出力期間内に複数のフレーム分の画像データの読み出しを並行して行い、フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、記憶部に記憶された複数のフレームについての画像データの合成条件を決定し、決定した合成条件に応じて複数のフレームについての画像データに対する合成処理を行い、合成処理により得られた合成後の画像データを出力する。

本開示のプログラムは、被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、読み出された画像データを記憶部に記憶し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力する撮像素子において、前記第１フレームレートは前記第２フレームレートよりも高いフレームレートであり、前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、前記合成処理により得られた合成後の画像データを出力する、画像データ処理をコンピュータに実行させる。

本開示によれば、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下を抑制することができる。

各実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 各実施形態に係るフォーカス位置を説明するための側面図である。 各実施形態に係る撮像装置にハイブリッドファインダーの構成の一例を示す概略構成図である。 各実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 各実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 ローリングずれ量を説明するための図である。 露光期間の分割を説明するための図である。 露光期間の数とＡＤ変換が可能なライン数とを説明するための図である。 露光期間の数とＡＤ変換が可能なライン数とを説明するための図である。 各実施形態に係る撮像装置のＣＰＵの機能的な構成の一例を示すブロック図である。 各実施形態に係る撮像素子に含まれる画像処理回路の機能的な構成の一例を示すブロック図である。 第１実施形態に係る画像の合成処理を説明するための図である。 第１実施形態に係る画像の合成範囲を説明するための図である。 第１実施形態に係る画像の合成範囲を説明するための図である。 第１実施形態に係る画像の合成範囲を説明するための図である。 第１実施形態に係る画像の合成範囲を説明するための図である。 変形例に係るフォーカス駆動速度の制御を説明するための図である。 第１実施形態に係る撮像処理の流れの一例を示すフローチャートである。 各実施形態に係る合成処理の流れの一例を示すフローチャートである。 変形例に係る画像の合成範囲を説明するための図である。 第２実施形態に係る画像の合成範囲を説明するための図である。 第２実施形態に係る撮像処理の流れの一例を示すフローチャートである。 第３実施形態に係る画像の合成範囲を説明するための図である。 第３実施形態に係る撮像処理の流れの一例を示すフローチャートである。 変形例に係る画像の合成範囲を説明するための図である。 プログラムが記憶された記憶媒体から、プログラムが各実施形態に係る撮像素子にインストールされる態様の一例を示す概念図である。 各実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。

［第１実施形態］
図１を参照して、本実施形態に係る撮像装置１０の構成を説明する。図１に示すように、撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたレンズ交換式のデジタルカメラである。交換レンズ１４は、光軸Ｌ１方向に沿って移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。

また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（Ｏｐｔｉｃａｌ ＶｉｅｗＦｉｎｄｅｒ。以下、「ＯＶＦ」という）及び電子ビューファインダー（Ｅｌｅｃｔｒｏｎｉｃ ＶｉｅｗＦｉｎｄｅｒ。以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。撮像装置本体１２に設けられているファインダー切替えレバーによって、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で表示が切り換わる。なお、ライブビュー画像とは、光電変換素子で撮像されることにより得られた表示用の動画像を指す。

交換レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴ってフォーカスレンズ１６が光軸Ｌ１に沿って移動し、被写体距離に応じた合焦位置で後述の撮像素子２０に、被写体を示す被写体光が結像される。なお、本実施形態において、「合焦位置」とは、ピントが合っている状態でのフォーカスレンズ１６の光軸Ｌ１上での位置を指す。

また、撮像装置本体１２の上面には、レリーズボタンが設けられている。レリーズボタンは、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本実施形態に係る撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタンが半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。すなわち、レリーズボタンが半押し状態にされることによりＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）機能が働いて露出状態が設定された後、ＡＦ（Ａｕｔｏ−Ｆｏｃｕｓ）機能が働いて合焦制御され、レリーズボタンを全押し状態にすると撮像が行われる。

また、撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されることで得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されることで得られた動画像を記録する動作モードである。

撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０が設けられている。タッチパネル・ディスプレイ３０は、液晶ディスプレイ（以下、「第１ディスプレイ」という）４０及びタッチパネル４２を備えている。

第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、再生モード時の再生画像の表示及びメニュー画面等の表示にも用いられる。

タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。

撮像装置１０は、撮像装置本体１２に備えられたマウント４４と、マウント４４に対応する交換レンズ１４側のマウント４６と、を含む。交換レンズ１４は、マウント４４にマウント４６が結合されることにより撮像装置本体１２に交換可能に装着される。

撮像レンズ１８は、絞り４７及びモータ４９を含む。絞り４７は、フォーカスレンズ１６よりも撮像装置本体１２側に配置されており、モータ４９に接続されている。絞り４７は、モータ４９の動力を受けて作動することで露出を調節する。

撮像レンズ１８は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。

モータ４９、５０は、マウント４４、４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本実施形態では、モータ４９、５０の一例として、ステッピングモータを適用している。従って、モータ４９、５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図１に示す例では、モータ４９、５０が撮像レンズ１８に設けられている例が示されているが、これに限らず、モータ４９、５０は撮像装置本体１２に設けられていてもよい。

また、撮像装置本体１２は、操作部５４、外部インタフェース（Ｉ／Ｆ）６３、及び後段回路９０を備えている。後段回路９０は、撮像素子２０から送り出されるデータを受け取る側の回路である。本実施形態では、後段回路９０としてＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が採用されている。ＩＣの一例としては、ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）が挙げられる。

後段回路９０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４を含む。本実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。ＣＰＵ５２は、ハードウェアプロセッサであり、第２プロセッサの一例である。

なお、本実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、操作部５４、外部Ｉ／Ｆ６３、及びタッチパネル４２は、バス６８を介して相互に接続されている。

ＣＰＵ５２は、撮像装置１０の全体を制御する。本実施形態に係る撮像装置１０では、オートフォーカスモード時に、ＣＰＵ５２が、モータ５０を駆動させることによって、像面位相差ＡＦ方式により得られた合焦位置にフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。以下では、フォーカスレンズ１６の光軸Ｌ１に沿った位置を「フォーカス位置」という。また、本実施形態では、一例として図２に示すように、フォーカス位置を、予め定められた位置を基準とした距離（図２の例では「Ｄ」で表される距離）で表す。「予め定められた位置」とは、例えば、フォーカスレンズ１６の移動可能な範囲における撮像装置本体１２側の端部の位置である。また、以下では、オートフォーカスモード時に駆動させるフォーカスレンズ１６の駆動速度、すなわち、単位時間あたりのフォーカスレンズ１６の移動量を「フォーカス駆動速度」という。

一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を指す。

二次記憶部６０には、撮像プログラム６０Ａが記憶されている。ＣＰＵ５２は、二次記憶部６０から撮像プログラム６０Ａを読み出し、読み出した撮像プログラム６０Ａを一次記憶部５８に展開する。ＣＰＵ５２は、一次記憶部５８に展開した撮像プログラム６０Ａに従って後述の撮像処理（図１７参照）を実行する。なお、二次記憶部６０は、本開示の技術に係る「記憶媒体」の一例である。

操作部５４は、後段回路９０に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４は、前述したレリーズボタン及びファインダー切替えレバーを含む。また、操作部５４は、ダイヤル、十字キー、メニューキー、及び指示ボタン等も含む。操作部５４によって受け付けられた各種指示は操作信号としてＣＰＵ５２に出力され、ＣＰＵ５２は、操作部５４から入力された操作信号に応じた処理を実行する。

位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４、４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。

撮像モードが設定されると、被写体光は、撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。

デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４、４６を介して撮像レンズ１８のモータ４９、５０に接続されている。

デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ４９、５０を制御する。

一例として図３に示すように、ハイブリッドファインダー２１は、ＯＶＦ７６及びＥＶＦ７８を含む。ＯＶＦ７６は、対物レンズ８１と接眼レンズ８６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ７８は、第２ディスプレイ８０、プリズム８４、及び接眼レンズ８６を有する。

また、対物レンズ８１の前方には、液晶シャッタ８８が配設されており、液晶シャッタ８８は、ＥＶＦ７８を使用する際に、対物レンズ８１に光学像が入射しないように遮光する。

プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、かつ、光学像と第２ディスプレイ８０に表示される電子像及び各種情報の少なくとも一方とを合成する。

ここで、前述したファインダー切替えレバーを回動させると、回動させる毎にＯＶＦ７６により光学像を視認することができるＯＶＦモードと、ＥＶＦ７８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

第２表示制御部６６は、ＯＶＦモードの場合、液晶シャッタ８８が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２表示制御部６６は、ＥＶＦモードの場合、液晶シャッタ８８が遮光状態になるように制御し、接眼部から第２ディスプレイ８０に表示される電子像のみが視認できるようにする。

撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。一例として図４に示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。なお、メモリ９６は、本開示の「記憶部」の一例である。

撮像素子２０は、光電変換素子９２と処理回路９４とメモリ９６とが１チップ化された撮像素子である。すなわち、光電変換素子９２、処理回路９４、及びメモリ９６は１パッケージ化されている。また、撮像素子２０では、光電変換素子９２に処理回路９４及びメモリ９６が積層されている。詳細には、光電変換素子９２及び処理回路９４は、銅等の導電性を有するバンプによって互いに電気的に接続されており、処理回路９４及びメモリ９６も、銅等の導電性を有するバンプによって互いに電気的に接続されている。

処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本実施形態では、メモリ９６の一例として、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）が採用されているが、本開示はこれに限らず、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。

本実施形態では、処理回路９４は、ＡＳＩＣによって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子９２は、マトリクス状に配置された複数のフォトセンサを有している。本実施形態では、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子９２は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ、Ｇ、Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであっても本開示の技術は成立する。

撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

撮像装置１０では、ローリングシャッタ方式で、静止画像用の撮像と、動画像用の撮像とが行われる。静止画像用の撮像は、電子シャッタ機能を働かせ、かつ、メカニカルシャッタ７２を作動させることで実現され、動画像用の撮像は、メカニカルシャッタ７２を作動させずに、電子シャッタ機能を働かせることで実現される。

処理回路９４は、デバイス制御部７４によって制御される。処理回路９４は、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示す画像データを指す。撮像画像データは、光電変換素子９２に蓄積された信号電荷である。処理回路９４は、光電変換素子９２から読み出した撮像画像データに対してＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換を行う。処理回路９４は、撮像画像データに対してＡＤ変換を行うことで得た撮像画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６から撮像画像データを取得し、取得した撮像画像データに基づく画像データである出力用画像データを後段回路９０のＩ／Ｆ５６に出力する。なお、以下では、説明の便宜上、「撮像画像データに基づく画像データである出力用画像データ」を単に「出力用画像データ」と称する。

処理回路９４は、撮像画像データに対して第１処理と第２処理とを行う。第１処理とは、光電変換素子９２から撮像画像データを読み出し、読み出した撮像画像データをメモリ９６に記憶する処理を指す。第２処理とは、出力用画像データを撮像素子２０の外部に出力する処理を指す。「撮像素子２０の外部」とは、例えば、後段回路９０のＩ／Ｆ５６を指す。

撮像素子２０では、第１フレームレートで被写体が撮像される。処理回路９４は、第１フレームレートで第１処理を行い、第２フレームレートで第２処理を行う。第１フレームレートは、第２フレームレートよりも高いフレームレートである。

本実施形態では、第２フレームレートの一例として、６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が採用されているが、本開示はこれに限定されず、“第２フレームレート＜第１フレームレート” の関係性を満たしていれば、第２フレームレートは変更可能である。また、第１フレームレートは、第２フレームレートより高い範囲内で可変なフレームレートとされる。

一例として図５に示すように、処理回路９４は、光電変換素子駆動回路９４Ａ、ＡＤ変換回路９４Ｂ、画像処理回路９４Ｃ、出力回路９４Ｄ、及び記憶回路９４Ｅを含む。処理回路９４は、デバイス制御部７４を介してＣＰＵ５２の制御下で動作する。記憶回路９４Ｅには、ローリングずれ量９８が記憶されている。ローリングずれ量９８の詳細については後述する。なお、光電変換素子駆動回路９４Ａは、「読出部」の一例であり、画像処理回路９４Ｃは、「処理部」の一例であり、出力回路９４Ｄは、「出力部」の一例である。また、ローリングずれ量９８は、撮像装置本体１２の二次記憶部６０に記憶されていてもよい。

光電変換素子駆動回路９４Ａは、光電変換素子９２及びＡＤ変換回路９４Ｂに接続されている。メモリ９６は、ＡＤ変換回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄに接続されている。出力回路９４Ｄは、後段回路９０のＩ／Ｆ５６に接続されている。

光電変換素子駆動回路９４Ａは、デバイス制御部７４の制御下で光電変換素子９２を制御し、被写体を撮像することで光電変換素子９２により得られたアナログの撮像画像データを第１フレームレートで読み出す。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。メモリ９６は、複数フレームの撮像画像データを記憶可能なメモリである。画像処理回路９４Ｃは、撮像画像データに対して処理を施す。出力回路９４Ｄは、画像処理回路９４Ｃで処理された撮像画像データ（すなわち、出力用画像データ）を第２フレームレートで出力する。

ところで、動画像用の撮像では、第２フレームレートで規定される１フレームの出力期間になるべく近い露光期間による露光に基づく撮像が行われることが好ましい。しかしながら、環境が比較的明るい場合等、例えば、１フレームの出力期間と同じ長さの露光期間によって撮像が行われると過露光になってしまう場合があるため、一例として図６に示すように、１フレームの出力期間に対して露光期間を短くする場合がある。なお、図６における１つの矩形は１つのラインに対する露光期間を表している。また、図６に示すように、本実施形態では、光電変換素子９２のうちの先頭ラインに対する露光が開始されてから最終ラインに対する露光が開始されるまでの時間差がある現象を「ローリングずれ」といい、この時間差を「ローリングずれ量」という。前述した記憶回路９４Ｅには、撮像素子２０のローリングずれ量９８が予め記憶されている。このローリングずれ量は、フォトダイオードの読み出し速度により決定される。

１フレームの出力期間に対して露光期間を短くした場合（例えば、フレームレートが６０ｆｐｓの動画像用の撮像での露光期間を１／１０００秒とした場合等）、１フレーム中の露光期間の割合が１フレームの出力期間に対して小さくなる。このため、この場合、フレーム間での露光タイミングの時間差が大きくなってしまうことによって、コマ送りの動画像のように断続的な動画像に見えてしまう場合がある。

そこで、図７に示すように、垂直同期信号による同期タイミングとは異なるタイミングでも光電変換素子９２からの画像データの読み出しとリセットとを行うことによって、露光期間を、例えば１／２又は１／４のような任意の周期で分割することを考える。図７では、出力のフレームレート（すなわち、第２フレームレート）内における露光期間を等倍、１／２倍、及び１／４倍にした例を示している。この第２フレームレートと露光期間の分割数とによって第１フレームレートが規定される。

露光期間を分割することによって、メモリ９６には露光期間の分割数に応じた複数の撮像画像データが記憶される。そして、図７に示すように、メモリ９６に記憶されている複数の撮像画像データを、位置が対応する画素毎に加算平均して得られた画像データを出力用画像データとして出力する。これにより、フレーム間でのコマ送り感を低減することが可能となる。

なお、この露光期間の分割数は、例えば、同時にＡＤ変換が可能な光電変換素子９２のライン数に応じて決めることができる。図８Ａに示すように、露光期間の分割数を２個とした場合、同時にＡＤ変換が可能なライン数が２つであれば、２つの露光期間の一部を重複させることによって撮像画像データの読み出しを高速化することができる。これは、光電変換素子９２における異なる２つのラインそれぞれから同時に撮像画像データを読み出してＡＤ変換を行うことが可能となるためである。

また、図８Ａに示すように、撮像画像データの読み出し速度を低下させずに、露光期間の分割数を４個とした場合、例えば、同時にＡＤ変換が行われるライン数が３つになる場合がある。しかしながら、ハードウェア構成の制約等により、同時にＡＤ変換が可能なライン数が２つの場合もある。

この場合、図８Ｂに示すように、撮像画像データの読み出し速度を低下させて、同時に撮像画像データが読み出されるライン数を２つにすることとなる。しかしながら、この場合、読み出し速度を低下させるほど、これに伴ってローリングずれは悪化する。そこで、本実施形態では、光電変換素子駆動回路９４Ａは、読み出し速度が低下しない範囲で露光期間を分割する。詳細には、光電変換素子駆動回路９４Ａは、露光期間の分割数を同時にＡＤ変換が可能なライン数以下（本実施形態では、２個）の値とする。但し、露光期間の分割数は２個に限定されず、３個以上としてもよい。また、撮像画像データの読み出し速度を低下させた状態となる露光期間の分割数としてもよい。

ところで、動画用の撮像では、出力フレーム間にフォーカスレンズ１６を合焦位置まで移動させるための時間を確保できない状態で、フォーカスレンズ１６を移動させながら被写体の撮像が行われることで各フレームの画像が得られる場合がある。この場合、フォーカス位置が変更されながら撮像が行われるため、ローリングずれに起因して、画像内の上側と下側とでコントラストの状態が異なってしまう場合がある。詳細には、例えば、画像内の上部の領域では合焦状態のコントラストが実現されているが、画像内の下部の領域では非合焦状態のコントラスト、すなわち、ボケるという状況が発生する場合がある。この場合、画像内の全体が合焦状態のコントラストである場合に比べ、画質が低下してしまう。

前述した露光期間を分割して得られた複数の撮像画像データを加算平均することによって出力用画像データを合成しても、前述した画質の低下は発生する。そこで、本実施形態に係る撮像装置１０では、フォーカス駆動速度及びローリングずれ量に基づいて、複数の画像データの合成条件が決定され、決定された合成条件に応じて画像データに対する合成処理が行われる。

図９を参照して、撮像装置本体１２のＣＰＵ５２の機能的な構成を説明する。図９に示すように、ＣＰＵ５２が撮像プログラム６０Ａを実行することによって、撮像制御部１００及び記憶制御部１０２として機能する。

撮像制御部１００は、ユーザにより操作部５４を介して動画像の撮像指示が入力されると、第２フレームレートで規定される１フレームの画像データの出力期間に応じて垂直同期信号を撮像素子２０に出力する。これにより、撮像制御部１００は、撮像素子２０に対して動画像用の撮像の指示を与える。この際、撮像制御部１００は、モータ５０を駆動させることによって、像面位相差ＡＦ方式により得られた合焦位置にフォーカスレンズ１６を予め定められたフォーカス駆動速度で光軸Ｌ１に沿って移動させる。予め定められたフォーカス駆動速度は、例えば、１フレーム分の露光期間よりも短い期間内に１フレーム分の合焦制御を完遂することができるフォーカス駆動速度として実機による試験によって得られたフォーカス駆動速度であればよい。

更に、撮像制御部１００は、各フレームに対応する垂直同期信号を生成し、生成した垂直同期信号を撮像素子２０に出力する。また、撮像制御部１００は、垂直同期信号を生成するタイミングでのフォーカス位置及びフォーカス駆動速度を撮像素子２０に出力する。また、撮像制御部１００は、各フレームに対応する垂直同期信号を生成するタイミングで、前方被写界深度及び後方被写界深度を導出し、導出した各被写界深度を撮像素子２０に出力する。詳細には、撮像制御部１００は、以下の（１）式及び（２）式に従って、許容錯乱円径、絞り値、被写体距離、及び焦点距離を用いて、前方被写界深度及び後方被写界深度を導出する。なお、ここで言う「許容錯乱円径」は、光電変換素子９２の画素ピッチと等しい値である。また、（１）式及び（２）式における「＾２」は二乗を表す。
前方被写界深度［ｍｍ］＝
（許容錯乱円径［ｍｍ］×絞り値×被写体距離［ｍｍ］＾２）
÷（焦点距離［ｍｍ］＾２＋許容錯乱円径［ｍｍ］×絞り値×被写体距離［ｍｍ］）
・・・（１）
後方被写界深度［ｍｍ］＝
（許容錯乱円径［ｍｍ］×絞り値×被写体距離［ｍｍ］＾２）
÷（焦点距離［ｍｍ］＾２−許容錯乱円径［ｍｍ］×絞り値×被写体距離［ｍｍ］）
・・・（２）

記憶制御部１０２は、撮像素子２０の出力回路９４Ｄにより出力された画像データを二次記憶部６０に記憶する制御を行う。なお、記憶制御部１０２は、撮像素子２０の出力回路９４Ｄにより出力された画像データを、メモリカード等の撮像装置本体１２に着脱可能な外部メモリに記憶する制御を行ってもよい。

図１０に示すように、画像処理回路９４Ｃは、機能的には、第１取得部１１０、第２取得部１１２、及び合成処理部１１４を含む。

第１取得部１１０は、撮像素子２０の外部からフォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度を取得する。図１０に示す例において、撮像素子２０の外部とは、ＣＰＵ５２である。

第２取得部１１２は、撮像素子２０の内部の記憶回路９４Ｅからローリングずれ量９８を取得する。

合成処理部１１４は、一例として図１１に示すように、フォーカス駆動速度及びローリングずれ量９８からメモリ９６に記憶された複数のフレームについての撮像画像データの合成条件（以下、単に「合成条件」という）を決定する。そして、合成処理部１１４は、決定した合成条件に応じて複数のフレームについての撮像画像データに対する合成処理を行う。

図１２及び図１３を参照して合成処理の詳細について説明する。前述したように、本実施形態では第２フレームレートで規定される出力期間内の露光期間の分割数を２個とする。すなわち、一例として図１２に示すように、光電変換素子駆動回路９４Ａは、第２フレームレートで規定される１フレームの画像データの出力期間内に２つのフレーム分の画像データの読み出しを並行して行う。

ここで、前述したように、ＣＰＵ５２から撮像素子２０へ第２フレームレートで規定される各フレームに対応する垂直同期信号が入力される際に、フォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度も入力される。従って、合成処理部１１４は、第１取得部１１０により取得されたフォーカス位置及びフォーカス駆動速度と、第２取得部１１２により取得されたローリングずれ量９８を用いて、光電変換素子９２の各ラインから信号の読み出しを開始したタイミングのフォーカス位置を導出することができる。なお、図１２では、一例として、第２フレームレートで規定される１フレーム内における２回の露光での先頭ライン、中央ライン、及び最終ラインそれぞれから信号の読み出しを開始したタイミングのフォーカス位置を示している。

合成処理部１１４は、合成条件として、所定の被写界深度閾値内の画像の範囲を合成処理による画像の合成範囲と決定する。詳細には、図１２に示すように、合成処理部１１４は、予め定められた位置を中心に、第１取得部１１０により取得された前方被写界深度と後方被写界深度との範囲内を上記被写界深度閾値内とする。本実施形態では、合成処理部１１４は、被写体に合焦すると仮定したフォーカス位置を基準にして、前方被写界深度と後方被写界深度との範囲内を上記被写界深度閾値内とする。なお、画像の合成範囲は被写界深度閾値内に限定されず、合成範囲は予め実験的に求められた範囲でもよい。

図１２の例では、フォーカス位置が１０２０［μｍ］の状態で被写体に合焦すると仮定した場合、１０２０［μｍ］から＋５［μｍ］のフォーカス位置が前方被写界深度に対応しており、１０２０［μｍ］から−５［μｍ］のフォーカス位置が後方被写界深度に対応している。すなわち、図１２の例では、フォーカス位置が１０１５［μｍ］以上１０２５［μｍ］以下の範囲内が被写界深度閾値内とされる。

従って、この場合、一例として、図１３に示すように、２つの画像におけるフォーカス位置が１０１５［μｍ］以上１０２５［μｍ］以下の状態で読み出された部分が画像の合成範囲と決定される。そして、２つの画像のうち、フォーカス位置が１０１５［μｍ］以上１０２５［μｍ］以下の状態で読み出された部分が１つの画像に合成される。図１３では、斜線部分が画像の合成範囲を示している。また、斜線部分が画像の合成範囲を示すことは、後述する図１４〜図１６、図１９、図２０、図２２、及び図２４でも同様である。なお、図１３では、２つの画像を合成する例を示しているが、これに限定されない。一例として図１４に示すように、図１３に示す例に比べ被写界深度が深い場合等、被写界深度閾値内の画素が３つ以上の画像に含まれる場合は、３つ以上の画像を合成してもよい。この場合、複数の画像で重複する画素については、位置が対応する画素の画素値を加算平均してもよいし、何れかの画像の画素値を採用してもよい。

一方、一例として図１５に示すように、図１３に示す例に比べ被写界深度が浅い場合等、被写界深度閾値内の画素が１つの画像として足りない場合は、被写界深度閾値内の画素については合成し、被写界深度閾値外の画素については加算平均する形態が例示される。この場合、被写界深度閾値外の画素については何れかの画像の画素値を採用してもよい。

また、この場合、撮像制御部１００は、ローリングずれ量９８及び被写界深度に応じてフォーカス駆動速度を制御してもよい。詳細には、一例として図１６に示すように、撮像制御部１００は、被写界深度閾値内に少なくとも１つの画像分の画素が含まれるように、フォーカス駆動速度を制御する形態が例示される。この場合、例えば、撮像制御部１００は、被写界深度が狭くなるほど、すなわち、被写界深度閾値の範囲が狭くなるほどフォーカス駆動速度を遅くする。

出力回路９４Ｄは、合成処理部１１４により合成処理により得られた合成後の画像データをＣＰＵ５２に出力する。

次に、撮像装置１０の本開示の技術に係る部分の作用について説明する。

ＣＰＵ５２は、動画像の撮像を開始する指示が操作部５４によって受け付けられた場合に、撮像プログラム６０Ａに従って撮像処理を実行する。以下、ＣＰＵ５２によって実行される撮像処理について図１７を参照して説明する。

図１７のステップＳ１０で、撮像制御部１００は、モータ５０を駆動させることによって、像面位相差ＡＦ方式により得られた合焦位置にフォーカスレンズ１６を予め定められたフォーカス駆動速度で光軸Ｌ１に沿って移動させる処理を開始する。すなわち、後述するステップＳ１４の処理によって開始される図１８の合成処理は、フォーカスレンズ１６が移動している状態で実行される。

ステップＳ１２で、撮像制御部１００は、前述したように、（１）式及び（２）式に従って、許容錯乱円径、絞り値、被写体距離、及び焦点距離を用いて、前方被写界深度及び後方被写界深度を導出する。

ステップＳ１４で、撮像制御部１００は、垂直同期信号を撮像素子２０に出力することによって、撮像素子２０に対して動画像用の撮像を指示する。この際、撮像制御部１００は、前述したように、フォーカス位置及びフォーカス駆動速度と、ステップＳ１２の処理により導出された前方被写界深度及び後方被写界深度とを撮像素子２０に出力する。本ステップＳ１４の処理により垂直同期信号が撮像素子２０に入力されると、図１８に示す合成処理が撮像素子２０によって実行される。

ステップＳ１６で、記憶制御部１０２は、図１８に示す合成処理のステップＳ２６の処理によって撮像素子２０の出力回路９４Ｄにより出力された画像データを二次記憶部６０に記憶する制御を行う。ステップＳ１６の処理が終了すると本撮像処理が終了する。以上のステップＳ１０からステップＳ１６の処理が、第２フレームレートで規定される時間間隔で繰り返し実行されることにより、第２フレームレートの動画像データが二次記憶部６０に記憶される。

図１８のステップＳ２０で、光電変換素子駆動回路９４Ａは、前述したように、第２フレームレートで規定される１フレームの画像データの出力期間内に複数のフレーム分の画像データの読み出しを並行して行う。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。

ステップＳ２２で、第１取得部１１０は、上記撮像処理のステップＳ１４の処理により撮像装置本体１２のＣＰＵ５２から入力されたフォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度を取得する。また、第２取得部１１２は、撮像素子２０の内部の記憶回路９４Ｅからローリングずれ量９８を取得する。合成処理部１１４は、第１取得部１１０からフォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度を取得する。また、合成処理部１１４は、第２取得部１１２からローリングずれ量９８を取得する。そして、合成処理部１１４は、第１取得部１１０から取得したフォーカス位置、フォーカス駆動速度、前方被写界深度、及び後方被写界深度と、第２取得部１１２から取得したローリングずれ量９８とを用いて、ステップＳ２０の処理によりメモリ９６に記憶された複数の撮像画像データの合成条件を決定する。

ステップＳ２４で、合成処理部１１４は、前述したように、ステップＳ２２の処理により決定された合成条件に応じて複数の撮像画像データに対する合成処理を行う。ステップＳ２６で、出力回路９４Ｄは、ステップＳ２４の処理により得られた合成後の画像データをＣＰＵ５２に出力する。ステップＳ２６の処理が終了すると本合成処理が終了する。

以上説明したように、本実施形態によれば、フォーカス駆動速度及びローリングずれ量からメモリ９６に記憶された複数のフレームについての画像データの合成条件を決定し、決定した合成条件に応じて画像データに対する合成処理を行っている。従って、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下を抑制することができる。

なお、本第１実施形態では、フォーカス駆動速度が等速である場合について説明したが、これに限定されない。一例として図１９に示すように、フォーカスレンズ１６の駆動開始タイミングでは、フォーカス駆動速度が徐々に速くなる場合もある。同様に、フォーカスレンズ１６の駆動終了タイミングでは、フォーカス駆動速度が徐々に遅くなる場合もある。これらの場合、図１９に示すように、合成処理部１１４は、フォーカス駆動速度の変化量に応じて画像の合成範囲を決定してもよい。詳細には、フォーカス駆動速度が目標速度に向けて徐々に速くなっている場合は、目標速度の場合と比較して画像の合成範囲を広くする形態が例示される。同様に、フォーカス駆動速度が目標速度に向けて徐々に遅くなっている場合も、目標速度の場合と比較して画像の合成範囲を広くする形態が例示される。

また、本第１実施形態では、撮像素子２０として、光電変換素子９２、処理回路９４、及びメモリ９６が１チップ化された撮像素子を例示したが、本開示の技術はこれに限定されない。例えば、光電変換素子９２、処理回路９４、及びメモリ９６のうち、少なくとも光電変換素子９２及びメモリ９６が１チップ化されていればよい。

［第２実施形態］
開示の技術の第２実施形態を説明する。なお、撮像装置１０の構成は第１実施形態（図１〜図５参照）と同様であるため説明を省略する。

図９を参照して、本実施形態に係る撮像装置本体１２のＣＰＵ５２の機能的な構成を説明する。なお、ここでは、第１実施形態と異なる機能についてのみ説明する。

撮像制御部１００は、各フレームに対応する垂直同期信号を生成するタイミングで予測オートフォーカスを実行する。予測オートフォーカスとは、オートフォーカス（本実施形態では像面位相差ＡＦ）を働かせることで合焦位置を予測するオートフォーカスをいう。撮像制御部１００は、予測オートフォーカスによって得られた合焦位置（以下、「予測合焦位置」という）を更に撮像素子２０に出力する。

図１０を参照して、本実施形態に係る撮像素子２０の画像処理回路９４Ｃの機能的な構成を説明する。なお、ここでは、第１実施形態と異なる機能についてのみ説明する。

第１取得部１１０は、更に、撮像装置本体１２のＣＰＵ５２から入力された予測合焦位置を取得する。

合成処理部１１４は、一例として図２０に示すように、第１取得部１１０により取得された予測合焦位置を基準にして、前方被写界深度と後方被写界深度とで上限と下限とが規定された範囲内を上記被写界深度閾値内とする。

次に、図１８及び図２１を参照して、撮像装置１０の本開示の技術に係る部分の作用について説明する。なお、ここでは、第１実施形態と異なる部分についてのみ説明する。また、図２１における図１７と同一の処理を実行するステップについては同一の符号を付して説明を省略する。

図２１のステップＳ１０の処理が終了すると、処理はステップＳ１１に移行する。ステップＳ１１で、撮像制御部１００は、前述したように、予測オートフォーカスによって予測合焦位置を導出する。ステップＳ１４では、本ステップＳ１１で導出された予測合焦位置が撮像素子２０に更に入力される。

図１８のステップＳ２４で、合成処理部１１４は、前述したように、第１取得部１１０により取得された予測合焦位置を基準にして、前方被写界深度と後方被写界深度とで上限と下限とが規定された範囲内を上記被写界深度閾値内とする。

以上説明したように、本実施形態によれば、予測オートフォーカスによって予測された合焦位置を基準にして、合成処理による画像の合成範囲が決定される。従って、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下をより抑制することができる。

［第３実施形態］
開示の技術の第３実施形態を説明する。なお、撮像装置１０の構成は第１実施形態（図１〜図５参照）と同様であるため説明を省略する。

図９を参照して、本実施形態に係る撮像装置本体１２のＣＰＵ５２の機能的な構成を説明する。なお、ここでは、第１実施形態と異なる機能についてのみ説明する。

撮像制御部１００は、フリッカの検出が可能な期間として定められた期間、所定のフレームレート（例えば、第２フレームレート）に従って撮像素子２０によって撮像させることによって得られた画像群を用いてフリッカの検出処理を行う。そして、撮像制御部１００は、フリッカを検出した場合、フリッカの周期に基づいて、フリッカの影響が回避されるタイミング（以下、「フリッカ影響回避タイミング」という）を導出する。本実施形態では、撮像制御部１００は、上記画像群において明るさがピークに達するタイミングをフリッカ影響回避タイミングとして導出する。なお、フリッカ影響回避タイミングは、必ずしも画像の明るさがピークに達するタイミングでなくてもよい。この場合、例えば、フリッカ影響回避タイミングは、画像内にフリッカが現れない範囲内で、画像の明るさのピークから外れたタイミングであってもよい。

また、撮像制御部１００は、各フレームに対応する垂直同期信号を出力する際に、導出したフリッカ影響回避タイミングを、更に撮像素子２０に出力する。

図１０を参照して、本実施形態に係る撮像素子２０の画像処理回路９４Ｃの機能的な構成を説明する。なお、ここでは、第１実施形態と異なる機能についてのみ説明する。

第１取得部１１０は、更に、撮像装置本体１２のＣＰＵ５２から入力されたフリッカ影響回避タイミングを取得する。

合成処理部１１４は、一例として図２２に示すように、第１取得部１１０により取得されたフリッカ影響回避タイミングを基準にして、前方被写界深度と後方被写界深度とで上限と下限とが規定された範囲内を上記被写界深度閾値内とする。

次に、図１８及び図２３を参照して、撮像装置１０の本開示の技術に係る部分の作用について説明する。なお、ここでは、第１実施形態と異なる部分についてのみ説明する。また、図２３における図１７と同一の処理を実行するステップについては同一の符号を付して説明を省略する。

図２３のステップＳ１０Ａで、撮像制御部１００は、前述したように、フリッカの検出処理を行う。本ステップＳ１０Ａでフリッカが検出されなかった場合、ステップＳ１２〜Ｓ１６の処理及び図１８に示す合成処理は第１実施形態と同じ処理が実行される。

一方、本ステップＳ１０Ａでフリッカが検出された場合、ステップＳ１４で、本ステップＳ１０Ａで導出されたフリッカ影響回避タイミングが撮像素子２０に更に入力される。そして、この場合、図１８のステップＳ２４で、合成処理部１１４は、前述したように、フリッカ影響回避タイミングを基準にして、前方被写界深度と後方被写界深度とで上限と下限とが規定された範囲内を上記被写界深度閾値内とする。

以上説明したように、本実施形態によれば、フリッカ影響回避タイミングを中心に、合成処理による画像の合成範囲が決定される。従って、ローリングシャッタ方式でフォーカス駆動中に撮像を行った場合に発生する画質の低下をより抑制することができる。

なお、上記各実施形態では、画像全体を合成処理の対象範囲とする場合について説明したが、これに限定されない。一例として図２４に示すように、画像の一部がクロップされた場合、クロップされた領域を合成処理の対象範囲としてもよい。

また、上記各実施形態では、開示の技術を動画像に適用した場合について説明したが、これに限定されない。例えば、開示の技術を連写撮像によって得られた複数の静止画像に適用する形態としてもよい。

また、上記各実施形態では、合成処理により得られた動画像を記憶部に記憶する場合について説明したが、これに限定されない。例えば、合成処理により得られた動画像をライブビュー画像として第１ディスプレイ４０に表示する形態としてもよい。

また、上記各実施形態では、ＡＳＩＣが実現される処理回路９４を例示したが、前述した合成処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図２５に示すように、前述した合成処理（図１８参照）を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるためのプログラム２００を記憶媒体２１０に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体２１０のプログラム２００がコンピュータ２０Ａにインストールされ、コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム２００に従って、前述した合成処理を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。ＣＰＵ２０Ａ１は、ハードウェアプロセッサであり、第１プロセッサの一例である。

なお、記憶媒体２１０の一例としては、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網を介してコンピュータ２０Ａに接続される他のコンピュータ等の記憶部にプログラム２００を記憶させておき、プログラム２００が撮像装置１０等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム２００がコンピュータ２０Ａによって実行される。

また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム２００に従って処理回路９４を制御するようにすればよい。

上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。ここで、上記各実施形態で説明した各種処理とは、撮像処理及び合成処理が挙げられる。プロセッサとしては、例えば、前述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。

本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より詳細には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図２６に示すスマートデバイス３００に対して本開示の技術を適用するようにしてもよい。一例として図２６に示すスマートデバイス３００は、本開示の技術に係る撮像装置の一例である。スマートデバイス３００には、上記各実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス３００であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス３００に限らず、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記各実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを表示装置として用いるようにしてもよい。

また、上記各実施形態で説明した撮像処理及び合成処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

本願は２０１８年１２月２７日出願の日本出願第２０１８−２４５７４９号の優先権を主張すると共に、その全文を参照により本明細書に援用する。

Claims (15)

1. 撮像素子であって、
   前記撮像素子に内蔵された記憶部と、
   前記撮像素子に内蔵された第１プロセッサと、を備え、
   前記第１プロセッサは、
   被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、
   前記画像データに対して処理を行い、
   処理された前記画像データを第２フレームレートで出力する、
   ように構成され、
   前記記憶部は、読み出された前記画像データを記憶し、
   前記第１フレームレートは前記第２フレームレートよりも高いフレームレートであり、
   前記第１プロセッサは、
   前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、
   フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、前記記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、
   前記合成処理により得られた合成後の画像データを出力する、
   撮像素子。
2. 前記第１プロセッサは、前記合成条件として、予め定められた被写界深度閾値内の画像の範囲を前記合成処理による画像の合成範囲として決定するように構成されている、
   請求項１に記載の撮像素子。
3. 前記第１プロセッサは、前記記憶部に記憶された前記複数のフレームについての前記画像データのうち、フォーカス位置が前記被写界深度閾値内の状態で読み出された部分を用いて前記合成処理を行うように構成されている、
   請求項２に記載の撮像素子。
4. 前記第１プロセッサは、前記記憶部に記憶された前記複数のフレームについての前記画像データにおいて、前記フォーカス位置が前記被写界深度閾値内の状態で読み出された部分が重複する場合、重複する部分については位置が対応する画素の画素値を加算平均するか、又は何れかの画像の画素値を用いることによって前記合成処理を行うように構成されている、
   請求項３に記載の撮像素子。
5. 前記第１プロセッサは、前記合成条件として、オートフォーカスにより合焦位置を予測する予測オートフォーカスによって予測された合焦位置を基準にして、前記合成処理による画像の合成範囲を決定するように構成されている、
   請求項１から請求項４の何れか一項に記載の撮像素子。
6. フリッカが検出された場合、前記第１プロセッサは、前記合成条件として、前記フリッカの影響が回避されるタイミングを基準にして、前記合成処理による画像の合成範囲を決定するように構成されている、
   請求項１から請求項４の何れか一項に記載の撮像素子。
7. 前記第１プロセッサは、マトリクス状に配置された複数のフォトセンサから前記画像データを読み出す場合に、前記第２フレームレートで規定される１フレームの前記画像データの出力期間内における露光期間の分割数を同時にＡＤ変換が可能なライン数に応じた値とするように構成されている、
   請求項１から請求項６の何れか一項に記載の撮像素子。
8. 前記第１プロセッサは、前記露光期間の分割数を同時にＡＤ変換が可能なライン数以下の値とするように構成されている、
   請求項７に記載の撮像素子。
9. 前記第１プロセッサは、前記画像データにより示される画像がクロップされた場合、クロップされた領域を前記合成処理の対象範囲とするように構成されている、
   請求項１から請求項８の何れか一項に記載の撮像素子。
10. 少なくとも光電変換素子と前記記憶部とが１チップ化された、
    請求項１から請求項９の何れか一項に記載の撮像素子。
11. 前記光電変換素子に前記記憶部が積層された積層型撮像素子である、
    請求項１０に記載の撮像素子。
12. 請求項１から請求項１１の何れか一項に記載の撮像素子と、
    前記撮像素子に含まれる前記第１プロセッサにより出力された画像データを記憶媒体に記憶する制御を行うように構成されている第２プロセッサと、
    を含む撮像装置。
13. 前記第２プロセッサは、さらに、前記ローリングずれ量及び被写界深度に応じて前記フォーカス駆動速度を制御するように構成されている、
    請求項１２に記載の撮像装置。
14. 被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力するように構成されている第１プロセッサと、前記第１プロセッサにより読み出された画像データを記憶する記憶部と、が内蔵された撮像素子の画像データ処理方法であって、
    前記第１フレームレートを前記第２フレームレートよりも高いフレームレートとし、
    前記第１プロセッサが、
    前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、
    フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、前記記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、
    前記合成処理により得られた合成後の画像データを出力する、
    画像データ処理方法。
15. 被写体が撮像されることで得られた画像データを第１フレームレートで読み出し、読み出された画像データを記憶部に記憶し、前記画像データに対して処理を行い、処理された前記画像データを第２フレームレートで出力する撮像素子において、
    前記第１フレームレートは前記第２フレームレートよりも高いフレームレートであり、
    前記第２フレームレートで規定される１フレームの前記画像データの出力期間内に複数のフレーム分の前記画像データの読み出しを並行して行い、
    フォーカス駆動速度及びローリングずれ量を取得し、取得したフォーカス駆動速度及びローリングずれ量に基づいて、前記記憶部に記憶された複数のフレームについての前記画像データの合成条件を決定し、決定した合成条件に応じて前記複数のフレームについての前記画像データに対する合成処理を行い、
    前記合成処理により得られた合成後の画像データを出力する、
    画像データ処理をコンピュータに実行させるプログラム。

Images