JPWO2020044764A1 - 撮像素子、撮像装置、画像データ処理方法、及びプログラム - Google Patents

Abstract

撮像素子は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、撮像素子に内蔵された記憶部と、撮像画像データに対して処理を施す処理部と、処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、前記撮像素子に内蔵された出力部と、を含み、処理部は、撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、出力部は、圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力する。

Description

本開示の技術は、撮像素子、撮像装置、画像データ処理方法、及びプログラムに関する。

特開平６−２０４８９１号公報には、ランレングス符号を用いたデータ圧縮方法が開示されている。特開平６−２０４８９１号公報に記載のデータ圧縮方法では、先ず、順次入力するＬビットの画像データの連続する二つのデータをビット単位で比較して、一致を“０”、不一致を“１”とするビット列からなる差分データを求める。次に、差分データの上位ビットからの“０”連続数を求めてＷ＝［「ｌｏｇ_２Ｌ」＋１］ビット幅（但し「」はＧａｕｓｓの記号）のランレングス符号に変換する。そして、差分データ中の“０”連続数＋１ビットを除く下位ビットをランレングス符号の後に付加したものを圧縮データとして出力する。

しかしながら、撮像素子に含まれる光電変換素子により被写体が撮像されて得られた画像データを撮像素子の外部に出力してから、撮像素子の外部にて特許文献１に記載のデータ圧縮方法を用いて画像データの圧縮処理が行われる場合、撮像素子から外部に出力される画像データは、圧縮処理前の画像データなので、撮像素子の外部への画像データの出力に伴う消費電力の増大が懸念される。

本発明の一つの実施形態は、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる撮像素子、撮像装置、画像データ処理方法、及びプログラムを提供する。

本開示の技術に係る第１の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵された記憶部と、撮像画像データに対して処理を施し、かつ、撮像素子に内蔵された処理部と、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、かつ、撮像素子に内蔵された出力部と、を含み、処理部は、撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、出力部は、処理部で生成された圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力する、撮像素子である。

従って、本開示の技術に係る第１の態様の撮像素子は、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる。

本開示の技術に係る第２の態様は、第１フレームレートは、第２フレームレートよりも高いフレームレートである、第１の態様に係る撮像素子である。

従って、本開示の技術に係る第２の態様の撮像素子は、出力部による圧縮画像データの出力に用いられるフレームレートと同じフレームレートで撮像される場合に比べ、圧縮画像データを迅速に生成することができる。

本開示の技術に係る第３の態様は、第２撮像画像データは、撮像されることで得られた第１撮像画像データよりも１フレーム以上前に得られた画像データである、第１の態様又は第２の態様に係る撮像素子である。

従って、本開示の技術に係る第３の態様の撮像素子は、第１撮像画像データと第２撮像画像データとが同時に撮像されて得られた画像データである場合に比べ、相違度を大きくすることができる。

本開示の技術に係る第４の態様は、相違度は、読出部により第１撮像画像データがライン単位で読み出される毎の第１撮像画像データと第２撮像画像データとのライン単位での相違度である、第１の態様から第３の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第４の態様の撮像素子は、フレーム単位で第１撮像画像データが読み出されるのを待ってから第１撮像画像データと第２撮像画像データとの相違度が定まる場合に比べ、迅速に圧縮画像データを出力することができる。

本開示の技術に係る第５の態様は、相違度は、第１撮像画像データと第２撮像画像データとの既定上位ビットについての相違度である、第１の態様から第４の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第５の態様の撮像素子は、第１撮像画像データと第２撮像画像データとの全ビットを比較する場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を迅速に定めることができる。

本開示の技術に係る第６の態様は、第１撮像画像データ及び第２撮像画像データは、互いにビット数が揃った画像データであり、圧縮画像データは、第１撮像画像データのビット数である第１ビットよりも小さな第２ビットの画像データであり、既定上位ビットは、第１ビットから第２ビットを減じることで得た値に相当するビットである、第５の態様に係る撮像素子である。

従って、本開示の技術に係る第６の態様の撮像素子は、圧縮画像データのビットとは無関係なビットで第１撮像画像データと第２撮像画像データとを比較して第１撮像画像データと第２撮像画像データとの相違度を定める場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を高精度に定めることができる。

本開示の技術に係る第７の態様は、圧縮画像データは、第１撮像画像データが複数のビット範囲で分割されることにより得られた複数のビット画像データのうちの相違度に応じて定められた１つのビット画像データに基づくデータである、第１の態様から第６の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第７の態様の撮像素子は、第１撮像画像データの全ビットを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。

本開示の技術に係る第８の態様は、複数のビット画像データは、上位ビット画像データ及び下位ビット画像データであり、圧縮画像データは、相違度が既定条件を満たす場合に、上位ビット画像データに基づくデータを有し、相違度が既定条件を満たさない場合に、下位ビット画像データに基づくデータを有する、第７の態様に係る撮像素子である。

従って、本開示の技術に係る第８の態様の撮像素子は、被写体の動きに拘らず第１撮像画像データの全ビットを出力する場合に比べ、画質低下の抑制の度合いと消費電力の低減の度合いとを被写体の動きに合わせて調整することができる。

本開示の技術に係る第９の態様は、圧縮画像データの一部のビットは、圧縮画像データが複数のビット画像データのうちの何れのビット画像データに基づくデータであるのかを特定可能なビット画像特定情報が付与されるビットである、第７の態様又は第８の態様に係る撮像素子である。

従って、本開示の技術に係る第９の態様の撮像素子は、圧縮画像データの出力タイミングとは異なるタイミングでビット画像特定情報を出力する場合に比べ、圧縮画像データが複数のビット画像データのうちの何れのビット画像データに基づくデータであるのかを迅速に特定することができる。

本開示の技術に係る第１０の態様は、圧縮画像データは、ライン単位の画像データであり、第１撮像画像データが複数のビット範囲で分割されることにより得られた複数の分割画像データのうちの何れかの分割画像データに基づくデータであるのかを特定可能な分割画像特定情報を有する、第１の態様から第９の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１０の態様の撮像素子は、ライン単位で、圧縮画像データが何れの分割画像データに基づくデータであるのかを特定することができる。

本開示の技術に係る第１１の態様は、出力部は、動画像用の撮像が開始された場合、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データを外部に出力する、第１の態様から第１０の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１１の態様の撮像素子は、記憶部に第２撮像画像データが記憶される前であっても、出力部による画像データの出力が滞ることを回避することができる。

本開示の技術に係る第１２の態様は、出力部は、動画像用の撮像が開始された場合、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データのうちの特定のビット範囲に属する画像データに基づくデータを外部に出力する、第１の態様から第１１の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１２の態様の撮像素子は、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データそのものを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。

本開示の技術に係る第１３の態様は、出力部は、動画像用の撮像が開始された場合、記憶部に第２撮像画像データが記憶される前に、第２撮像画像データに代替する画像データとして予め定められた画像データと第１撮像画像データとの相違度に応じて、第１撮像画像データが複数のビット範囲で分割されることで圧縮されて得られた代替圧縮画像データを外部に出力する、第１の態様から第１２の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１３の態様の撮像素子は、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データそのものを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。

本開示の技術に係る第１４の態様は、出力部は、既定の時間間隔で静止画用の撮像が連続的に行われる場合、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データ又は第１撮像画像データのうちの既定ビット範囲に属する画像データを外部に出力し、記憶部に第２撮像画像データが記憶されたことを条件に、圧縮画像データを外部に出力する、第１の態様から第１３の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１４の態様の撮像素子は、記憶部に第２撮像画像データが記憶される前に、第１撮像画像データそのものを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。

本開示の技術に係る第１５の態様は、撮像素子は、光電変換素子を有し、光電変換素子に記憶部が積層された積層型撮像素子である、第１の態様から第１４の態様の何れか１つの態様に係る撮像素子である。

従って、本開示の技術に係る第１５の態様の撮像素子は、光電変換素子に記憶部が積層されていないタイプの撮像素子を用いる場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を迅速に定めることができる。

本開示の技術に係る第１６の態様は、本開示の技術に係る第１の態様から第１５の態様の何れか１つの態様に係る撮像素子と、撮像素子に含まれる出力部により出力された圧縮画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、を含む、撮像装置である。

従って、本開示の技術に係る第１６の態様の撮像装置は、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる。

本開示の技術に係る第１７の態様は、記憶部と、処理部と、出力部とが内蔵された撮像素子の画像データ処理方法であって、記憶部に対して、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶させ、処理部に対して、撮像画像データに対して処理を施させ、出力部に対して、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力させ、処理部に対して、撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成させ、出力部に対して、処理部で生成された圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力させることを含む、画像データ処理方法。

従って、本開示の技術に係る第１７の態様の画像データ処理方法は、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる。

本開示の技術に係る第１８の態様は、コンピュータを、記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる処理部及び出力部として機能させるためのプログラムであって、記憶部は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、処理部は、撮像画像データに対して処理を施し、出力部は、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、処理部は、光電変換素子により撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、出力部は、処理部で生成された圧縮画像データを処理済画像データとして第２フレームレートで外部に出力する、プログラムである。

従って、本開示の技術に係る第１８の態様のプログラムは、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる。

本開示の技術に係る第１９の態様は、撮像素子であって、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、撮像素子に内蔵されたメモリと、撮像画像データに対して処理を施し、かつ、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、かつ、撮像素子に内蔵されたプロセッサと、を含み、プロセッサは、撮像されることで得られた第１撮像画像データとメモリに記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、生成した圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力する、撮像素子である。

本発明の一つの実施形態によれば、撮像されて得られた画像データをそのまま撮像素子の外部に出力する場合に比べ、撮像素子の外部への画像データの出力に伴う消費電力を低減することができる、という効果が得られる。

第１〜第４実施形態に係るレンズ交換式カメラである撮像装置の外観の一例を示す斜視図である。 第１〜第４実施形態に係る撮像装置の背面側を示す背面図である。 第１〜第４実施形態に係る撮像装置のハードウェア構成の一例を示すブロック図である。 第１〜第４実施形態に係る撮像装置にハイブリッドファインダーの構成の一例を示す概略構成図である。 第１〜第４実施形態に係る撮像装置に含まれる撮像素子の概略構成の一例を示す概略構成図である。 第１〜第４実施形態に係る撮像装置に含まれる撮像素子の要部構成の一例を示すブロック図である。 第１実施形態に係る圧縮処理の流れの一例を示すフローチャートである。 第１〜第４実施形態に係る画像データ出力処理の流れの一例を示すフローチャートである。 第１〜第４実施形態に係る表示制御処理の流れの一例を示すフローチャートである。 圧縮画素データの生成方法の一例の説明に供する説明図である。 上位ｎビットの決定方法の一例の説明に供する説明図である。 第２実施形態に係る圧縮処理の流れの一例を示すフローチャートである。 １ライン分の圧縮画像データの構成の一例を示す概略構成図である。 １ライン分の圧縮画像データの構成の変形例を示す概略構成図である。 第３実施形態に係る圧縮処理の流れの一例を示すフローチャートである。 第４実施形態に係る圧縮処理の流れの一例を示すフローチャートである。 圧縮画素データに対するビット範囲特定フラグの付与方法の一例を示す概略構成図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第１の例を示す状態遷移図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第２の例を示す状態遷移図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第３の例を示す状態遷移図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第４の例を示す状態遷移図である。 圧縮処理及び画像データ出力処理が実行された場合の画像データの流れの第５の例を示す状態遷移図である。 実施形態に係るプログラムが記憶された記憶媒体から、実施形態に係るプログラムが撮像素子にインストールされる態様の一例を示す概念図である。 実施形態に係る撮像素子が組み込まれたスマートデバイスの概略構成の一例を示すブロック図である。

以下、添付図面に従って本開示の技術に係る撮像装置の実施形態の一例について説明する。

［第１実施形態］
一例として図１に示すように、撮像装置１０は、レンズ交換式カメラである。撮像装置１０は、撮像装置本体１２と、撮像装置本体１２に交換可能に装着される交換レンズ１４と、を含み、レフレックスミラーが省略されたデジタルカメラである。交換レンズ１４は、手動操作により光軸方向に移動可能なフォーカスレンズ１６を有する撮像レンズ１８を含む。

また、撮像装置本体１２には、ハイブリッドファインダー（登録商標）２１が設けられている。ここで言うハイブリッドファインダー２１とは、例えば光学ビューファインダー（以下、「ＯＶＦ」という）及び電子ビューファインダー（以下、「ＥＶＦ」という）が選択的に使用されるファインダーを指す。なお、ＯＶＦとは、“ｏｐｔｉｃａｌ ｖｉｅｗｆｉｎｄｅｒ”の略称を指す。また、ＥＶＦとは、“ｅｌｅｃｔｒｏｎｉｃ ｖｉｅｗｆｉｎｄｅｒ” の略称を指す。

交換レンズ１４は、撮像装置本体１２に対して交換可能に装着される。また、交換レンズ１４の鏡筒には、マニュアルフォーカスモード時に使用されるフォーカスリング２２が設けられている。フォーカスリング２２の手動による回転操作に伴ってフォーカスレンズ１６は、光軸方向に移動し、被写体距離に応じた合焦位置で後述の撮像素子２０（図３参照）に被写体光が結像される。

撮像装置本体１２の前面には、ハイブリッドファインダー２１に含まれるＯＶＦのファインダー窓２４が設けられている。また、撮像装置本体１２の前面には、ファインダー切替えレバー（ファインダー切替え部）２３が設けられている。ファインダー切替レバー２３を矢印ＳＷ方向に回動させると、ＯＶＦで視認可能な光学像とＥＶＦで視認可能な電子像（ライブビュー画像）との間で切り換わるようになっている。

なお、ＯＶＦの光軸Ｌ２は、交換レンズ１４の光軸Ｌ１とは異なる光軸である。また、撮像装置本体１２の上面には、レリーズボタン２５、撮像系のモード、及び再生系のモード等の設定用のダイヤル２８が設けられている。

レリーズボタン２５は、撮像準備指示部及び撮像指示部として機能し、撮像準備指示状態と撮像指示状態との２段階の押圧操作が検出可能である。撮像準備指示状態とは、例えば待機位置から中間位置（半押し位置）まで押下される状態を指し、撮像指示状態とは、中間位置を超えた最終押下位置（全押し位置）まで押下される状態を指す。なお、以下では、「待機位置から半押し位置まで押下される状態」を「半押し状態」といい、「待機位置から全押し位置まで押下される状態」を「全押し状態」という。

本第１実施形態に係る撮像装置１０では、動作モードとして撮像モードと再生モードとがユーザの指示に応じて選択的に設定される。撮像モードでは、マニュアルフォーカスモードとオートフォーカスモードとがユーザの指示に応じて選択的に設定される。オートフォーカスモードでは、レリーズボタン２５が半押し状態にされることにより撮像条件の調整が行われ、その後、引き続き全押し状態にすると露光が行われる。つまり、レリーズボタン２５が半押し状態にされることによりＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）機能が働いて露出状態が設定された後、ＡＦ（Ａｕｔｏ−Ｆｏｃｕｓ）機能が働いて合焦制御され、レリーズボタン２５を全押し状態にすると撮像が行われる。

一例として図２に示すように、撮像装置本体１２の背面には、タッチパネル・ディスプレイ３０、十字キー３２、メニューキー３４、指示ボタン３６、及びファインダー接眼部３８が設けられている。

タッチパネル・ディスプレイ３０は、液晶ディスプレイ（以下、「第１ディスプレイ」という）４０及びタッチパネル４２（図３参照）を備えている。

第１ディスプレイ４０は、画像及び文字情報等を表示する。第１ディスプレイ４０は、撮像モード時に連続フレームで撮像されて得られた連続フレーム画像の一例であるライブビュー画像（スルー画像）の表示に用いられる。また、第１ディスプレイ４０は、静止画撮像の指示が与えられた場合に単一フレームで撮像されて得られた単一フレーム画像の一例である静止画像の表示にも用いられる。更に、第１ディスプレイ４０は、再生モード時の再生画像の表示及び／又はメニュー画面等の表示にも用いられる。

タッチパネル４２は、透過型のタッチパネルであり、第１ディスプレイ４０の表示領域の表面に重ねられている。タッチパネル４２は、例えば、指又はスタイラスペン等の指示体による接触を検知する。タッチパネル４２は、検知結果（タッチパネル４２に対する指示体による接触の有無）を示す検知結果情報を所定周期（例えば１００ミリ秒）で既定の出力先（例えば、後述のＣＰＵ５２（図３参照））に出力する。検知結果情報は、タッチパネル４２が指示体による接触を検知した場合、タッチパネル４２上の指示体による接触位置を特定可能な二次元座標（以下、「座標」という）を含み、タッチパネル４２が指示体による接触を検知していない場合、座標を含まない。

十字キー３２は、１つ又は複数のメニューの選択、ズーム及び／又はコマ送り等の各種の指令信号を出力するマルチファンクションのキーとして機能する。メニューキー３４は、第１ディスプレイ４０の画面上に１つ又は複数のメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令する指令ボタンとしての機能とを兼備した操作キーである。指示ボタン３６は、選択項目など所望の対象の消去、指定内容の取消し、及び１つ前の操作状態に戻す場合に等に操作される。

撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されて得られ静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されて得られた動画像を記録する動作モードである。

一例として図３に示すように、撮像装置１０は、撮像装置本体１２に備えられたマウント４６（図１も参照）と、マウント４６に対応する交換レンズ１４側のマウント４４と、を含む。交換レンズ１４は、マウント４６にマウント４４が結合されることにより撮像装置本体１２に交換可能に装着される。

撮像レンズ１８は、スライド機構４８及びモータ５０を含む。スライド機構４８は、フォーカスリング２２の操作が行われることでフォーカスレンズ１６を光軸Ｌ１に沿って移動させる。スライド機構４８には光軸Ｌ１に沿ってスライド可能にフォーカスレンズ１６が取り付けられている。また、スライド機構４８にはモータ５０が接続されており、スライド機構４８は、モータ５０の動力を受けてフォーカスレンズ１６を光軸Ｌ１に沿ってスライドさせる。

モータ５０は、マウント４４，４６を介して撮像装置本体１２に接続されており、撮像装置本体１２からの命令に従って駆動が制御される。なお、本第１実施形態では、モータ５０の一例として、ステッピングモータを適用している。従って、モータ５０は、撮像装置本体１２からの命令によりパルス電力に同期して動作する。また、図３に示す例では、モータ５０が撮像レンズ１８に設けられている例が示されているが、これに限らず、モータ５０は撮像装置本体１２に設けられていてもよい。

撮像装置１０は、被写体を撮像することで得た静止画像及び動画像を記録するデジタルカメラである。撮像装置本体１２は、操作部５４、外部インタフェース（Ｉ／Ｆ）６３、及び後段回路９０を備えている。後段回路９０は、撮像素子２０から送り出されるデータを受け取る側の回路である。本第１実施形態では、後段回路９０としてＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）が採用されている。ＩＣの一例としては、ＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）が挙げられる。

撮像装置１０は、低速モードと高速モードとの何れかの動作モードで動作する。低速モードとは、後段回路９０により低フレームレートで処理が行われる動作モードを指す。本第１実施形態では、低フレームレートとして、６０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が採用されている。

これに対し、高速モードとは、後段回路９０により高フレームレートで処理が行われる動作モードを指す。本第１実施形態では、高フレームレートとして、２４０ｆｐｓが採用されている。

なお、本第１実施形態では、低フレームレートとして６０ｆｐｓが例示され、高フレームレートとして２４０ｆｐｓが例示されているが、本開示の技術はこれに限定されない。低フレームレートが３０ｆｐｓであり、高フレームレートが１２０ｆｐｓであってもよい。このように、高フレームレートが低フレームレートよりも高ければよい。

後段回路９０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４を含む。本第１実施形態では、ＣＰＵ５２として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ５２に代えて複数のＣＰＵを採用してもよい。つまり、ＣＰＵ５２によって実行される各種処理は、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって実行されるようにしてもよい。

なお、本第１実施形態では、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４の各々がＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）によって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）及びＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）のうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、画像処理部６２、第１表示制御部６４、第２表示制御部６６、位置検出部７０、及びデバイス制御部７４のうちの少なくとも１つが、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

ＣＰＵ５２、Ｉ／Ｆ５６、一次記憶部５８、二次記憶部６０、画像処理部６２、第１表示制御部６４、第２表示制御部６６、操作部５４、外部Ｉ／Ｆ６３、及びタッチパネル４２は、バス６８を介して相互に接続されている。

ＣＰＵ５２は、撮像装置１０の全体を制御する。本第１実施形態に係る撮像装置１０では、オートフォーカスモード時に、ＣＰＵ５２が、撮像によって得られた画像のコントラスト値が最大となるようにモータ５０を駆動制御することによって合焦制御を行う。また、オートフォーカスモード時に、ＣＰＵ５２は、撮像によって得られた画像の明るさを示す物理量であるＡＥ情報を算出する。ＣＰＵ５２は、レリーズボタン２５が半押し状態とされたときには、ＡＥ情報により示される画像の明るさに応じたシャッタスピード及びＦ値を導出する。そして、導出したシャッタスピード及びＦ値となるように関係各部を制御することによって露出状態の設定を行う。

一次記憶部５８とは、揮発性のメモリを意味し、例えばＲＡＭを指す。二次記憶部６０とは、不揮発性のメモリを意味し、例えばフラッシュメモリ又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）を指す。

操作部５４は、後段回路９０に対して各種指示を与える際にユーザによって操作されるユーザインタフェースである。操作部５４は、レリーズボタン２５、ダイヤル２８、ファインダー切替レバー２３、十字キー３２、メニューキー３４、及び指示ボタン３６を含む。操作部５４によって受け付けられた各種指示は操作信号としてＣＰＵ５２に出力され、ＣＰＵ５２は、操作部５４から入力された操作信号に応じた処理を実行する。

位置検出部７０は、ＣＰＵ５２に接続されている。位置検出部７０は、マウント４４，４６を介してフォーカスリング２２に接続されており、フォーカスリング２２の回転角度を検出し、検出結果である回転角度を示す回転角度情報をＣＰＵ５２に出力する。ＣＰＵ５２は、位置検出部７０から入力された回転角度情報に応じた処理を実行する。

撮像モードが設定されると、被写体を示す画像光は、手動操作により移動可能なフォーカスレンズ１６を含む撮像レンズ１８及びメカニカルシャッタ７２を介してカラーの撮像素子２０の受光面に結像される。

デバイス制御部７４は、ＣＰＵ５２に接続されている。また、デバイス制御部７４は、撮像素子２０及びメカニカルシャッタ７２に接続されている。更に、デバイス制御部７４は、マウント４４，４６を介して撮像レンズ１８のモータ５０に接続されている。

デバイス制御部７４は、ＣＰＵ５２の制御下で、撮像素子２０、メカニカルシャッタ７２、及びモータ５０を制御する。

一例として図４に示すように、ハイブリッドファインダー２１は、ＯＶＦ７６及びＥＶＦ７８を含む。ＯＶＦ７６は、対物レンズ８１と接眼レンズ８６とを有する逆ガリレオ式ファインダーであり、ＥＶＦ７８は、第２ディスプレイ８０、プリズム８４、及び接眼レンズ８６を有する。

また、対物レンズ８１の前方には、液晶シャッタ８８が配設されており、液晶シャッタ８８は、ＥＶＦ７８を使用する際に、対物レンズ８１に光学像が入射しないように遮光する。

プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、且つ、光学像と第２ディスプレイ８０に表示される（電子像及び／又は各種情報とを合成する。

ここで、ファインダー切替レバー２３を図１に示す矢印ＳＷ方向に回動させると、回動させる毎にＯＶＦ７６により光学像を視認することができるＯＶＦモードと、ＥＶＦ７８により電子像を視認することができるＥＶＦモードとが交互に切り替えられる。

第２表示制御部６６は、ＯＶＦモードの場合、液晶シャッタ８８が非遮光状態になるように制御し、接眼部から光学像が視認できるようにする。また、第２表示制御部６６は、ＥＶＦモードの場合、液晶シャッタ８８が遮光状態になるように制御し、接眼部から第２ディスプレイ８０に表示される電子像のみが視認できるようにする。

撮像素子２０は、本開示の技術に係る「積層型撮像素子」の一例である。撮像素子２０は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。一例として図５に示すように、撮像素子２０には、光電変換素子９２、処理回路９４、及びメモリ９６が内蔵されている。撮像素子２０では、光電変換素子９２に対して処理回路９４及びメモリ９６が積層されている。なお、メモリ９６は、本開示の技術に係る「記憶部」の一例である。

処理回路９４は、例えば、ＬＳＩであり、メモリ９６は、例えば、ＲＡＭである。本第１実施形態では、メモリ９６の一例として、ＤＲＡＭが採用されているが、本開示の技術はこれに限らず、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）であってもよい。

本第１実施形態では、処理回路９４は、ＡＳＩＣによって実現されているが、本開示の技術はこれに限定されるものではない。例えば、ＡＳＩＣに代えてＰＬＤ及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＡＳＩＣ、ＰＬＤ、及びＦＰＧＡのうちの少なくとも１つが採用されてもよい。また、ＣＰＵ、ＲＯＭ、及びＲＡＭを含むコンピュータが採用されてもよい。ＣＰＵは、単数であってもよいし、複数であってもよい。また、処理回路９４は、ハードウェア構成及びソフトウェア構成の組み合わせによって実現されてもよい。

光電変換素子９２は、マトリクス状に配置された複数のフォトセンサを有している。本第１実施形態は、フォトセンサの一例として、フォトダイオードが採用されている。また、複数のフォトセンサの一例としては、“４８９６×３２６５”画素分のフォトダイオードが挙げられる。

光電変換素子９２は、カラーフィルタを備えており、カラーフィルタは、輝度信号を得るために最も寄与するＧ（緑）に対応するＧフィルタ、Ｒ（赤）に対応するＲフィルタ、及びＢ（青）に対応するＢフィルタを含む。本第１実施形態では、光電変換素子９２の複数のフォトダイオードに対してＧフィルタ、Ｒフィルタ、及びＢフィルタが行方向（水平方向）及び列方向（垂直方向）の各々に既定の周期性で配置されている。そのため、撮像装置１０は、Ｒ，Ｇ，Ｂ信号の同時化処理等を行う際に、繰り返しパターンに従って処理を行うことが可能となる。なお、同時化処理とは、単板式のカラー撮像素子のカラーフィルタ配列に対応したモザイク画像から画素毎に全ての色情報を算出する処理を指す。例えば、ＲＧＢ３色のカラーフィルタからなる撮像素子の場合、同時化処理とは、ＲＧＢからなるモザイク画像から画素毎にＲＧＢ全ての色情報を算出する処理を意味する。

なお、ここでは、撮像素子２０としてＣＭＯＳイメージセンサを例示しているが、本開示の技術はこれに限定されず、例えば、光電変換素子９２がＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであっても本開示の技術は成立する。

撮像素子２０は、いわゆる電子シャッタ機能を有しており、デバイス制御部７４の制御下で電子シャッタ機能を働かせることで、光電変換素子９２内の各フォトダイオードの電荷蓄積時間を制御する。電荷蓄積時間とは、いわゆるシャッタスピードを指す。

処理回路９４は、デバイス制御部７４によって制御される。処理回路９４は、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを読み出す。ここで言う「撮像画像データ」とは、被写体を示す画像データを指す。撮像画像データは、光電変換素子９２に蓄積された信号電荷である。詳しくは後述するが、撮像画像データは、第１撮像画像データと第２撮像画像データとに大別される。

また、本第１実施形態では、撮像画像データの一例として、光電変換素子９２に含まれる全てのフォトダイオードのうち、指定された１つの部分領域に含まれる複数のフォトダイオードにより被写体が撮像されることで得られた画像データを採用しているが、本開示の技術はこれに限定されない。例えば、光電変換素子９２内の全てのフォトダイオードにより被写体が撮像されることで得られた画像データを採用してもよい。

処理回路９４は、光電変換素子９２から読み出した撮像画像データに対してＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換を行う。処理回路９４は、撮像画像データに対してＡ／Ｄ変換を行うことで得た撮像画像データをメモリ９６に記憶する。処理回路９４は、メモリ９６から撮像画像データを取得する。処理回路９４は、取得した撮像画像データに対して処理を施すことで得た処理済み画像データを後段回路９０のＩ／Ｆ５６に出力する。

なお、以下では、説明の便宜上、処理回路９４が処理済み画像データを後段回路９０のＩ／Ｆ５６に出力する形態例を挙げて説明するが、本開示の技術はこれに限定されない。例えば、処理回路９４は、取得した撮像画像データそのものを後段回路９０のＩ／Ｆ５６に出力するようにしてもよいし、撮像画像データそのもの、及び処理済み画像データの双方を後段回路９０のＩ／Ｆ５６に出力するようにしてもよい。また、ユーザから与えられた指示、又は、撮像環境に応じて、処理回路９４により、撮像画像データそのもの、及び処理済み画像データが選択的に後段回路９０のＩ／Ｆ５６に出力されるようにしてもよい。

一例として図６に示すように、処理回路９４は、光電変換素子駆動回路９４Ａ、ＡＤ（Ａｎａｌｏｇ−ｔｏ−Ｄｉｇｉｔａｌ）変換回路９４Ｂ、画像処理回路９４Ｃ、及び出力回路９４Ｄを含み、ＣＰＵ５２の制御下で動作する。光電変換素子駆動回路９４Ａは、光電変換素子９２及びＡＤ変換回路９４Ｂに接続されている。メモリ９６は、ＡＤ変換回路９４Ｂ及び画像処理回路９４Ｃに接続されている。画像処理回路９４Ｃは出力回路９４Ｄに接続されている。出力回路９４Ｄは、後段回路９０のＩ／Ｆ５６に接続されている。

なお、画像処理回路９４Ｃは、本開示の技術に係る「処理部」の一例である。また、出力回路９４Ｄは、本開示の技術に係る「出力部」の一例である。

光電変換素子駆動回路９４Ａは、デバイス制御部７４の制御下で、光電変換素子９２を制御し、光電変換素子９２からアナログの撮像画像データを読み出す。ＡＤ変換回路９４Ｂは、光電変換素子駆動回路９４Ａにより読み出された撮像画像データをデジタル化し、デジタル化した撮像画像データをメモリ９６に記憶する。

撮像装置１０では、第１フレームレート及び第２フレームレートを含む複数のフレームレートで各種処理が実行可能とされている。第１フレームレート及び第２フレームレートは共に可変なフレームレートであり、第１フレームレートは、第２フレームレートよりも高いフレームレートである。

画像処理回路９４Ｃは、メモリ９６に記憶されている撮像画像データに対して処理を施す。出力回路９４Ｄは、画像処理回路９４Ｃにより処理が施されることで得られた処理済み画像データを第２フレームレートで撮像素子２０の外部に出力する。ここで言う「撮像素子２０の外部」とは、後段回路９０のＩ／Ｆ５６を指す。

なお、撮像素子２０では、第１フレームレートで被写体が撮像される。撮像素子２０では、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理が、第１フレームレートで行われるが、本開示の技術はこれに限定されない。例えば、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理のうち、少なくともＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶が第１フレームレートで行われるようにしてもよい。この場合、光電変換素子駆動回路９４Ａによる読み出し、ＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶、及び画像処理回路９４Ｃによる処理のうち、光電変換素子駆動回路９４Ａによる読み出し、及びＡＤ変換回路９４Ｂによるメモリ９６への撮像画像データの記憶が第１フレームレートで行われる、という形態例が挙げられる。

画像処理回路９４Ｃは、第１撮像画像データと第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成する。

ここで、第１撮像画像データとは、被写体が光電変換素子９２により撮像されることで得られた撮像画像データを指し、第２撮像画像データとは、メモリ９６に記憶された撮像画像データを指す。換言すると、被写体が撮像された時期が前後する一対の撮像画像データのうち先に撮像されて得られた撮像画像データが第２撮像画像データであり、後に撮像されて得られた撮像画像データが第１撮像画像データである。本第１実施形態において、第１撮像画像データは、被写体が光電変換素子９２により撮像されて得られた最新の撮像画像データであり、第２撮像画像データは、第１撮像画像データよりも１フレーム前に得られた撮像画像データである。

また、ここで言う「複数のビット範囲」とは、例えば、上位ビット範囲と下位ビット範囲とを指す。１フレーム分の撮像画像データが１２ビットの場合、上位ビット範囲とは、１２ビットのうちの上位６ビットを指し、下位ビット範囲とは、１２ビットのうちの下位６ビットを指す。ここで言う「１フレーム分の撮像画像データが１２ビット」とは、各画素が１２ビットの画素値を有することを意味する。よって、上位ビット範囲とは、各画素の画素値について、１２ビットのうちの上位６ビットを意味し、下位ビット範囲とは、各画素の画素値について、１２ビットのうちの下位６ビットを意味する。なお、以下では、画素値を「画素データ」とも称する。

次に、撮像装置１０の本開示の技術に係る部分の作用について説明する。

なお、以下では、説明の便宜上、第１ディスプレイ４０及び第２ディスプレイ８０を区別して説明する必要がない場合は、符号を付さずに「表示装置」と称する。表示装置は、本開示の技術に係る「表示部」の一例である。また、以下では、説明の便宜上、第１表示制御部６４及び第２表示制御部６６を区別して説明する必要がない場合は、符号を付さずに「表示制御部」と称する。表示制御部は、本開示の技術に係る「制御部」の一例である。

また、以下では、説明の便宜上、表示装置に対してライブビュー画像を表示させる場合について説明する。また、以下では、説明の便宜上、メモリ９６が２フレーム分以上の撮像画像データをＦＩＦＯ方式で記憶可能なメモリであることを前提として説明する。また、以下では、説明の便宜上、メモリ９６には、２フレーム以上の撮像画像データが既に記憶されていることを前提として説明する。また、以下の説明において、メモリ９６に記憶された時期が前後する２フレームの撮像画像データのうち、メモリ９６に先に記憶された撮像画像データが第２撮像画像データであり、第２撮像画像データの次にメモリ９６に記憶された撮像画像データが第１撮像画像データである。なお、以下では、第１撮像画像データにより示される画像を「第１撮像画像」と称し、第２撮像画像データにより示される画像を「第２撮像画像」と称する。

先ず、処理回路９４の画像処理回路９４Ｃが１フレーム分の圧縮画像データを生成する場合に画像処理回路９４Ｃによって実行される圧縮処理について図７を参照して説明する。

なお、図７に示す圧縮処理では、処理回路９４によって第１フレームレートで行われる。また、説明の便宜上、図７に示す圧縮処理では、メモリ９６に記憶されている１フレーム分の撮像画像データのビット数を１２ビットとし、第１撮像画像データを、７ビットの画像データに圧縮することを目的とする。また、第１撮像画像データ及び第２撮像画像データの元のビット数はいずれも１２ビットである。ここで言う「元のビット数」とは、図７に示す圧縮処理が実行される前にメモリ９６に記憶されている第１撮像画像データ及び第２撮像画像データのビット数を指す。また、図７に示す圧縮処理において、１２ビットは、本開示の技術に係る「第１ビット」の一例であり、７ビットは、本開示の技術に係る「第２ビット」の一例である。

図７に示す圧縮処理では、先ず、ステップ１００で、画像処理回路９４Ｃは、注目ラインについて、第１撮像画像の全画素の各々の現画素データＤｎをメモリ９６から読み出し、その後、圧縮処理はステップ１０２へ移行する。ここで、注目ラインとは、メモリ９６に記憶されている撮像画像データの１番目〜Ｎ番目の水平ラインのうちの未使用の１つの水平ラインを指す。ここで言う「未使用」とは、後述のステップ１０６又はステップ１０８の処理に未だに使用されていないことを意味する。現画素データＤｎとは、第１撮像画像データに含まれる画素の画素データを指す。メモリ９６から読み出される現画素データＤｎのビット数は１２ビットである。

ステップ１０２で、画像処理回路９４Ｃは、注目ラインについて、第２撮像画像の全画素の各々の前画素データＤｐをメモリ９６から読み出し、その後、圧縮処理はステップ１０４へ移行する。前画素データＤｐとは、第２撮像画像データに含まれる画素の画素データを指す。メモリ９６から読み出される前画素データＤｐのビット数は１２ビットである。

ステップ１０４で、画像処理回路９４Ｃは、注目画素について、ステップ１００で読み出した現画素データＤｎとステップ１０２で読み出した前画素データＤｐとの上位ｎビットを比較する。そして、画像処理回路９４Ｃは、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なるか否かを判定する。ここで、「注目画素」とは、注目ラインの全画素のうちの未処理の画素を指す。「未処理の画素」とは、未だにステップ１０６又はステップ１０８の処理対象とされていない画素を指す。

ここで言う「上位ｎビット」は、本開示の技術に係る既定上位ビットの一例である。本ステップ１０４において、上位ｎビットは、上位５ビットである。ここでの上位５ビットは、第１撮像画像データのビット数である１２ビットから、第１撮像画像データを圧縮して得られる圧縮画像データのビット数である７ビットを減じることで得た値に相当するビットである。

ステップ１０４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが同じ場合は、判定が否定されて、圧縮処理はステップ１０６へ移行する。ステップ１０４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なる場合は、判定が肯定されて、圧縮処理はステップ１０８へ移行する。

ここで、現画素データＤｎと前画素データＤｐとの上位ｎビットが同じ場合とは、被写体が変化していない場合を意味する。これに対し、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なる場合とは、被写体が変化した場合を意味する。

ステップ１０６で、画像処理回路９４Ｃは、注目画素について、現画素データＤｎの下位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ１０９へ移行する。本ステップ１０６において、下位ｂビットは、下位７ビットである。ここで、下位ｂビットの圧縮画像データＤｏを生成するのは、ノイズ情報を後段回路９０に伝えるためである。

なお、本ステップ１０６では、生成された下位ｂビットの圧縮画素データＤｏに対して更に特定の画像処理が施されるようにしてもよい。

ステップ１０８で、画像処理回路９４Ｃは、注目画素について、現画素データＤｎの上位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ１０９へ移行する。本ステップ１０８において、上位ｂビットは、上位７ビットである。

なお、本ステップ１０８では、生成された上位ｂビットの圧縮画素データＤｏに対して更に特定の画像処理が施されるようにしてもよい。

ステップ１０６又はステップ１０８の処理が実行されると、現画素データＤｎは、例えば、図１０に示すように、圧縮画素データＤｏに圧縮される。

図１０に示す例では、先ず、１２ビットの現画素データＤｎと１２ビットの前画素データＤｐとの排他的論理和が算出される。

次に、上位５ビットが“１”で、下位７ビットが“０”の１２ビットデータと、排他的論理和との論理積が算出される。ここでは「上位５ビット」を例示しているが、これは、ステップ１０４において上位ｎビットとして上位５ビットが使用されているからである。仮に、例えば、ステップ１０４において上位ｎビットとして上位７ビットが使用されていれば、上位７ビットが“１”で、下位５ビットが“０”の１２ビットデータと、排他的論理和との論理積が算出される。

そして、算出された論理積が“０”でない場合は、現画素データＤｎの上位［１１：５］のビットを圧縮画素データＤｏの［６：０］のビットとする。算出された論理積が“０”の場合は、現画素データＤｎの下位［６：０］のビットを圧縮画像データＤｏの［６：０］のビットとする。

ステップ１０９で、ステップ１０４〜ステップ１０８で１ライン分の処理が終了したか否かを判定する。ステップ１０９において、ステップ１０４〜ステップ１０８で１ライン分の処理が終了していない場合は、判定が否定されて、圧縮処理はステップ１０４へ移行する。ステップ１０９において、ステップ１０４〜ステップ１０８で１ライン分の処理が終了した場合は、判定が肯定されて、圧縮処理はステップ１１０へ移行する。

ステップ１１０で、メモリ９６に記憶されている第１撮像画像データの垂直方向の最終ラインに注目ラインが到達しているか否かを判定する。ステップ１１０において、メモリ９６に記憶されている第１撮像画像データの垂直方向の最終ラインに注目ラインが到達していない場合は、判定が否定されて、圧縮処理はステップ１１２へ移行する。ステップ１１０において、メモリ９６に記憶されている第１撮像画像データの垂直方向の最終ラインに注目ラインが到達している場合は、判定が肯定されて、圧縮処理はステップ１１４へ移行する。

ステップ１１２で、画像処理回路９４Ｃは、注目ラインのアドレスを１インクリメントすることで、メモリ９６に記憶されている第１撮像画像データの垂直方向に注目ラインを１ラインずらし、その後、圧縮処理はステップ１００へ移行する。

ステップ１１４で、画像処理回路９４Ｃは、ステップ１０６又はステップ１０８の処理が実行されることで得られた全画素についての圧縮画素データＤｏを１フレーム分の圧縮画像データとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。

なお、本ステップ１１４の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

また、本ステップ１１４において、画像処理回路９４Ｃは、圧縮画像データに対して特定の画像処理を施してもよい。この場合、圧縮画像データに対して特定の画像処理が施された処理済み圧縮画像データが出力回路９４Ｄに出力される。ここで言う「処理済み圧縮画像データ」は、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

次に、処理回路９４の出力回路９４Ｄによって実行される画像データ出力処理について図８を参照して説明する。

図８に示す画像データ出力処理では、先ず、ステップ１３０で、出力回路９４Ｄは、画像処理回路９４Ｃから圧縮画像データが入力されたか否かを判定する。本ステップ１３０において、画像処理回路９４Ｃから入力される圧縮画像データは、図７に示す圧縮処理に含まれるステップ１１４で出力された圧縮画像データである。

ステップ１３０において、画像処理回路９４Ｃから圧縮画像データが入力された場合は、判定が肯定されて、画像データ出力処理はステップ１３２へ移行する。ステップ１３０において、画像処理回路９４Ｃから圧縮画像データが入力されていない場合は、判定が否定されて、画像データ出力処理はステップ１３４へ移行する。

ステップ１３２で、出力回路９４Ｄは、ステップ１３０で入力された圧縮画像データを第２フレームレートで後段回路９０のＩ／Ｆ５６に出力し、その後、画像データ出力処理はステップ１３４へ移行する。

ステップ１３４で、出力回路９４Ｄは、画像データ出力処理を終了する条件である画像データ出力処理終了条件を満足したか否かを判定する。画像データ出力処理終了条件としては、例えば、画像データ出力処理を終了させる指示がタッチパネル４２及び／又は操作部５４によって受け付けられたとの条件が挙げられる。また、画像データ出力処理終了条件としては、例えば、画像データ出力処理が開始されてからレリーズボタン２５が押されることなく、予め定められた時間を超えたとの条件が挙げられる。ここで言う「予め定められた時間」とは、例えば、５分を指す。予め定められた時間は、固定値であってもよいし、ユーザから与えられた指示に応じて変更可能な可変値であってもよい。

ステップ１３４において、画像データ出力処理終了条件を満足していない場合は、判定が否定されて、画像データ出力処理はステップ１３０へ移行する。ステップ１３４において、画像データ出力処理終了条件を満足した場合は、判定が肯定されて、出力回路９４Ｄは画像データ出力処理を終了する。

図７に示す圧縮処理及び図８に示す画像データ出力処理が処理回路９４によって実行されることで、一例として図１８に示すように画像データが遷移する。

図１８に示す例では、垂直駆動信号に同期して１フレーム分の撮像画像データの読み出しが開始され、１番目の水平ラインからＮ（＞１）番目の水平ラインにかけて画素データが光電変換素子９２から読み出される。光電変換素子９２から読み出された１フレーム分の画素データは、先ず、現画素データＤｎとしてメモリ９６に記憶される。

次に、光電変換素子９２から１フレーム分の画素データが読み出されてメモリ９６への記憶が開始されると、メモリ９６に既に記憶されている１フレーム前の現画素データＤｎは前画素データＤｐとなり、新たな画素データが現画素データＤｎとしてメモリ９６に記憶される。例えば、ｎフレーム目の画素データのメモリ９６への記憶が開始されると、ｎ−１フレーム目の画素データは、現画素データＤｎから前画素データＤｐに変更され、メモリ９６に記憶されたｎフレーム目の画素データが現画素データＤｎとなる。そして、前フレームの第２撮像画像と現フレームの第１撮像画像とが比較され、第１撮像画像がビット圧縮される。ビット圧縮とは、例えば図７に示すステップ１０６，１０８の処理、すなわち、第１撮像画像から圧縮画素データＤｏを生成する処理を指す。

次に、後段回路９０の表示制御部によって実行される表示制御処理について図９を参照して説明する。なお、ここでは、説明の便宜上、図８に示す画像データ出力処理が実行されることで出力回路９４Ｄから圧縮画像データが後段回路９０に出力され、圧縮画像データがＣＰＵ５２及び画像処理部６２に入力されたことを前提として説明する。

図９に示す表示制御処理では、ステップ１５０で、表示制御部は、画像処理部６２から圧縮画像データが入力されたか否かを判定する。ステップ１５０において、画像処理部６２から圧縮画像データが入力されていない場合は、判定が否定されて、表示制御処理はステップ１５４へ移行する。ステップ１５０において、画像処理部６２から圧縮画像データが入力された場合は、判定が肯定されて、表示制御処理はステップ１５２へ移行する。

ステップ１５２で、表示制御部は、圧縮画像データをグラフィックデータとして表示装置に出力し、その後、表示制御処理はステップ１５４へ移行する。本ステップ１５２の処理が実行されることで圧縮画像データが表示装置に出力されると、表示装置は、圧縮画像データにより示される画像を表示する。

ステップ１５４で、表示制御部は、表示制御処理を終了する条件である表示制御処理終了条件を満足したか否かを判定する。表示制御処理終了条件は、例えば、上述した圧縮処理終了条件と同じ条件である。

ステップ１５４において、表示制御処理終了条件を満足していない場合は、判定が否定されて、表示制御処理はステップ１５０へ移行する。ステップ１５４において、表示制御処理終了条件を満足した場合は、判定が肯定されて、表示制御部は表示制御処理を終了する。

以上説明したように、本第１実施形態に係る撮像装置１０では、画像処理回路９４Ｃにより、被写体が光電変換素子９２により撮像されることで得られた第１撮像画像データとメモリ９６に記憶された第２撮像画像データとの相違度が決定される。ここで言う「相違度」は、例えば、ステップ１０４の判定結果である。また、画像処理回路９４Ｃにより、相違度に応じて、第１撮像画像データが複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データが生成される。そして、出力回路９４Ｄにより、画像処理回路９４Ｃで生成された圧縮画像データが第２フレームレートで後段回路９０に出力される。

従って、本第１実施形態に係る撮像装置１０は、撮像されて得られた第１撮像画像データをそのまま撮像素子２０の外部に出力する場合に比べ、撮像素子２０の外部への画像データの出力に伴う消費電力を低減することできる。

また、本第１実施形態に係る撮像装置１０では、第１フレームレートとして、第２フレームレートよりも高いフレームレートが採用されている。

従って、本第１実施形態に係る撮像装置１０は、出力回路９４Ｄによる圧縮画像データの出力に用いられるフレームレートと同じフレームレートで画像処理回路９４Ｃによって処理が行われる場合に比べ、圧縮画像データを迅速に生成することができる。

また、本第１実施形態に係る撮像装置１０では、第２撮像画像データが、第１撮像画像データよりも１フレーム前に得られた画像データである。

従って、本第１実施形態に係る撮像装置１０は、第１撮像画像データと第２撮像画像データとが同時に撮像されて得られた画像データである場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を大きくすることができる。

また、本第１実施形態に係る撮像装置１０では、第１撮像画像データと第２撮像画像データとの相違度が、第１撮像画像データと第２撮像画像データとの上位ｎビットについての相違度である。

従って、本第１実施形態に係る撮像装置１０は、第１撮像画像データと第２撮像画像データとの全ビットを比較する場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を迅速に定めることができる。

また、本第１実施形態に係る撮像装置１０では、第１撮像画像データ及び第２撮像画像データは、互いにビット数が揃った画像データであり、圧縮画像データは、１２ビットよりも小さな７ビットであり、上位ｎビットは、１２ビットから７ビットを減じることで得た値に相当するビット、すなわち、５ビットである。

従って、本第１実施形態に係る撮像装置１０は、圧縮画像データのビットとは無関係なビットで第１撮像画像データと第２撮像画像データとを比較して第１撮像画像データと第２撮像画像データとの相違度を定める場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を高精度に定めることができる。

更に、本第１実施形態に係る撮像装置１０では、撮像素子２０として積層型ＣＭＯＳイメージセンサが採用されている。

従って、本第１実施形態に係る撮像装置１０は、光電変換素子９２がメモリ９６に積層されていないタイプの撮像素子を用いる場合に比べ、第１撮像画像データと第２撮像画像データとの相違度を迅速に定めることができる。

なお、上記第１実施形態では、メモリ９６に記憶されている１フレーム分の第１撮像画像データのビット数を１２ビットとし、７ビットの圧縮画像データを生成する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、図１１に示すように、１６ビットの第１撮像画像から９ビットの圧縮画像データを生成してもよい。この場合、図７に示すステップ１０４の処理で用いられる上位ｎビットは、第１撮像画像の１６ビットから圧縮画像データの９ビットを減じて得た７ビットである。また、１４ビットの第１撮像画像から７ビットの圧縮画像データを生成してもよい。この場合、図７に示すステップ１０４の処理で用いられる上位ｎビットは、第１撮像画像の１４ビットから圧縮画像データの７ビットを減じて得た７ビットである。また、１２ビットの第１撮像画像から７ビットの圧縮画像データを生成してもよい。この場合、図７に示すステップ１０４の処理で用いられる上位ｎビットは、第１撮像画像の１２ビットから圧縮画像データの７ビットを減じて得た５ビットである。更に、１０ビットの第１撮像画像から６ビットの圧縮画像データを生成してもよい。この場合、図７に示すステップ１０４の処理で用いられる上位ｎビットは、第１撮像画像の１０ビットから圧縮画像データの６ビットを減じて得た４ビットである。

また、上記第１実施形態では、注目ラインを１ラインとしたが、本開示の技術はこれに限定されない。例えば、注目ラインを複数ラインとしてもよい。

また、上記第１実施形態では、１フレーム分の第１及び第２撮像画像データがメモリ９６に記憶されてから画像処理回路９４Ｃによりライン単位で第１撮像画像データと第２撮像画像データとが比較される形態例を挙げて説明したが、本開示の技術はこれに限定されない。つまり、図７に示すステップ１０４での第１撮像画像データと第２撮像画像データとの比較は、１フレーム分の第１撮像画像データがメモリ９６に記憶される前に行われるようにしてもよい。

この場合、例えば、光電変換素子９２から、本開示の技術に係る「読出部」の一例である処理回路９４により第１撮像画像データがライン単位で読み出される毎の第１撮像画像データと第２撮像画像データとのライン単位での相違度に応じて、第１撮像画像データが圧縮される。これにより、撮像装置１０は、フレーム単位で第１撮像画像データが読み出されるのを待ってから第１撮像画像データと第２撮像画像データとの相違度が定まる場合に比べ、迅速に圧縮画像データを出力することができる。なお、ここで言う「相違度」とは、例えば、図７に示すステップ１０４での判定結果に相当する。また、ここで言う「ライン単位」は、１ラインであってもよいし、複数ラインであってもよい。

また、上記第１実施形態では、第２撮像画像データとして第１撮像画像データの１フレーム前の撮像画像データが採用されているが、本開示の技術はこれに限定されない。例えば、第２撮像画像データは、第１撮像画像データの複数フレーム前の撮像画像データであってもよい。

［第２実施形態］
上記第１実施形態では、単に注目ライン毎に圧縮画素データＤｏが生成される形態例を挙げて説明したが、本第２実施形態では、１ライン毎に上位ビットの圧縮画像データなのか、下位ビットの圧縮画像データなのかを特定可能な形態例について説明する。なお、本第２実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

本第２実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、画像処理回路９４Ｃにより、図７に示す圧縮処理に代えて図１２に示す圧縮処理が実行される点が異なる。

そこで、画像処理回路９４Ｃによって実行される本第２実施形態に係る圧縮処理について図１２を参照して説明する。

図１２に示す圧縮処理は、図７に示す圧縮処理に比べ、ステップ２００の処理を有する点、及び、ステップ１１４の処理に代えてステップ２０２の処理を有する点が異なる。

図１２に示す圧縮処理では、ステップ１０９において判定が肯定された場合、圧縮処理はステップ２００へ移行する。

ステップ２００で、画像処理回路９４Ｃは、注目ラインの全画素の圧縮画素データＤｏである１ライン分の圧縮画像データの最上位２ビットにビット範囲特定フラグを付与し、その後、圧縮処理はステップ１１０へ移行する。なお、ビット範囲特定フラグは、本開示の技術に係る「ビット画像特定情報」及び「分割画像特定情報」の一例である。

画像処理回路９４Ｃにより本ステップ２００の処理が実行されることで、ビット範囲特定フラグが付与された圧縮画像データが生成される。なお、ここで生成された圧縮画像データは、本開示の技術に係る「第１撮像画像データが複数のビット範囲で分割されることにより得られた複数のビットのうちの相違度に応じて定められた１つのビット画像データに基づくデータ」の一例である。また、ここで生成された圧縮画像データは、「第１撮像画像データが複数のビット範囲で分割されることにより得られた複数の分割画像データのうちの何れかの分割画像データに基づくデータ」の一例でもある。

ビット範囲特定フラグは、上位ビット特定フラグと下位ビット特定フラグとに大別される。上位ビット特定フラグとは、上位ビット圧縮画像データを特定可能なフラグを指す。上位ビット圧縮画像データとは、例えば、過半数の画素の画素データが上位ｂビットの圧縮画素データＤｏである１ライン分の圧縮画像データを指す。下位ビット特定フラグとは、下位ビット圧縮画像データを特定可能なフラグを指す。下位ビット圧縮画像データとは、例えば、過半数の画素の画素データが下位ｂビットの圧縮画素データＤｏである１ライン分の圧縮画像データを指す。以下では、説明の便宜上、上位ビット圧縮画像データと下位ビット圧縮画像データとを区別して説明する必要がない場合、「ビット圧縮画像データ」と称する。

なお、上位ビット圧縮画像データ及び下位ビット圧縮画像データは、本開示の技術に係る「複数のビット画像データ」及び「複数の分割画像データ」の一例である。また、上位ビット圧縮画像データは、本開示の技術に係る「上位ビット画像データ」の一例である。更に、下位ビット圧縮画像データは、本開示の技術に係る「下位ビット画像データ」の一例である。

図１３に示す例では、２バイトの１ライン分の圧縮画像データの最上位２ビットにビット範囲特定フラグが付与されている。一例として図１３に示す１ライン分の圧縮画像データでは、最上位２ビットに、ビット範囲特定フラグが付与され、ビット範囲特定フラグに続いてブランキング及びダミー等の同期コード、及び、画素毎の圧縮画素データＤｏが連なっている。図１３に示す１ライン分の圧縮画像データの最上位２ビットに付与される上位ビット特定フラグとしては、例えば、“００”が挙げられ、下位ビット特定フラグとしては、例えば、“０１”が挙げられる。つまり、最上位２ビットに“００”が付与された１ライン分の圧縮画像データは、上位ビット圧縮画像として扱われ、最上位２ビットに“０１”が付与された１ライン分の圧縮画像データは、下位ビット圧縮画像として扱われる。

ステップ２０２で、画像処理回路９４Ｃは、ビット範囲特定フラグが各々付与された複数ラインの圧縮画像データである１フレーム分の圧縮画像データとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。

なお、本ステップ２０２の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「ビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

また、本ステップ２０２において、画像処理回路９４Ｃは、圧縮画像データに対して特定の画像処理を施してもよい。この場合、圧縮画像データに対して特定の画像処理が施された処理済み圧縮画像データが出力回路９４Ｄに出力される。ここで言う「処理済み圧縮画像データ」は、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

以上説明したように、本第２実施形態に係る撮像装置１０では、圧縮画像データは、第１撮像画像データが複数のビット範囲で分割されることで得られた上位ビット圧縮画像データ及び下位ビット圧縮画像データのうちの相違度に応じて定められた１つのビット圧縮画像データである。ここで言う「相違度」は、例えば、上記ステップ１０４の判定結果である。

従って、本第２実施形態に係る撮像装置１０は、第１撮像画像データの全ビットを出力する場合に比べ、画像データの出力に伴う消費電力を低減することができる。

また、撮像装置１０では、圧縮画像データの最上位２ビットを、ビット範囲特定フラグが付与されるビットとされている。

従って、本第２実施形態に係る撮像装置１０は、圧縮画像データの出力タイミングとは異なるタイミングでビット範囲特定フラグを後段回路９０に出力する場合に比べ、後段回路９０にて、圧縮画像データが何れのビット圧縮画像データに基づくデータであるのかを迅速に特定することができる。

更に、本第２実施形態に係る撮像装置１０では、ステップ１０４〜ステップ１０９の処理が実行されることで、１ライン毎に圧縮画像データが生成される。そして、圧縮画像データは、ビット範囲特定フラグを有する。

従って、本第２実施形態に係る撮像装置１０は、１ライン毎に、圧縮画像データが何れのビット圧縮画像データであるのかを特定することができる。

なお、上位第２実施形態では、圧縮画像データの最上位２ビットにビット範囲特定フラグが付与される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、圧縮画像データの最下位２ビットにビット範囲特定フラグが付与されるようにしてもよいし、圧縮画像データ内の特定可能な２ビットにビット範囲特定フラグが付与されるようにしてもよい。また、例えば、圧縮画像データ内のうちの特定の１ビットを、ビット範囲特定フラグが付与されるビットとして用いてもよい。このように、圧縮画像データの一部のビットがビット範囲特定フラグの付与されるビットとして用いられるようにすればよい。

また、上記第２実施形態では、ステップ１０４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なるか否かが判定されているが、本開示の技術はこれに限定されない。ステップ１０４では、現画素データＤｎと前画素データＤｐとの上位ｎビットの相違度が既定条件を満たしているか否かが判定されるようにしてもよい。この場合、ステップ１０６の処理が実行されることで生成される圧縮画素データＤｏは、本開示の技術に係る「下位ビット画像データに基づくデータ」の一例である。また、ステップ１０８の処理が実行されることで生成される圧縮画素データＤｏは、本開示の技術に係る「上位ビット画像データに基づくデータ」の一例である。

例えば、現画素データＤｎと前画素データＤｐとの上位ｎビットの差分の絶対値が閾値以上の場合、ステップ１０８の処理が実行され、現画素データＤｎと前画素データＤｐとの上位ｎビットの差分の絶対値が閾値未満の場合、ステップ１０６の処理が実行される。これにより、被写体の動きに拘らず第１撮像画像データの全ビットが出力される場合に比べ、画質の低下の抑制の度合いと消費電力の抑制の度合いとが被写体の動きに合わせて調整される。なお、ここで言う「差分」は本開示の技術に係る「相違度」の一例である。ここで言う「閾値以上の場合」は、本開示の技術に係る「既定条件を満たす場合」の一例であり、「閾値未満の場合」は、本開示の技術に係る「既定条件を満たさない場合」の一例である。閾値は、固定値であってもよいし、タッチパネル４２及び／又は操作部５４によって受け付けられた指示に応じて可変な可変値であってもよい。

また、上記第２実施形態では、注目ラインの全画素の各々について最新のフレームの現画素データＤｎと１フレーム前の前画素データＤｐとの間で上位ｎビットの比較を行って圧縮画素データを生成したが、本開示の技術はこれに限定されない。例えば、注目ラインの全画素を対象として、最新のフレームの現画素データＤｎの上位ｎビットの平均値と１フレーム前の前画素データＤｐの上位ｎビットの平均値とが一致していれば、注目ラインの全画素の各々に対してステップ１０６の処理が実行されるようにしてもよい。また、この場合、注目ラインの全画素を対象として、最新のフレームの現画素データＤｎの上位ｎビットの平均値と１フレーム前の前画素データＤｐの上位ｎビットの平均値とが異なっていれば、注目ラインの全画素の各々に対してステップ１０８の処理が実行される。

なお、本実施形態において、「一致」とは、完全一致のみならず、許容される誤差として予め定められた誤差内での一致も意味する。ここで言う「予め定められた誤差」としては、例えば、実機を用いた官能試験及び／又はコンピュータ・シミュレーション等により、被写体の変化が視認されない誤差として予め導き出された値が採用される。

また、例えば、注目ラインにおいて、最新のフレームの現画素データＤｎの上位ｎビットの代表画素データと１フレーム前の前画素データＤｐの上位ｎビットの代表画素データとが一致していれば、注目ラインの全画素の各々に対してステップ１０６の処理が実行されるようにしてもよい。また、この場合、注目ラインにおいて、最新のフレームの現画素データＤｎの上位ｎビットの代表画素データと１フレーム前の前画素データＤｐの上位ｎビットの代表画素データとが異なっていれば、注目ラインの全画素の各々に対してステップ１０８の処理が実行される。

更に、例えば、注目ラインにおいて、最新のフレームの現画素データＤｎの上位ｎビットの画素データの総計と１フレーム前の前画素データＤｐの上位ｎビットの画素データの総計とが一致していれば、注目ラインの全画素の各々に対してステップ１０６の処理が実行されるようにしてもよい。また、この場合、注目ラインにおいて、最新のフレームの現画素データＤｎの上位ｎビットの画素データの総計と１フレーム前の前画素データＤｐの上位ｎビットの画素データの総計とが異なっていれば、注目ラインの全画素の各々に対してステップ１０８の処理が実行される。

また、上記第２実施形態では、上位ビット圧縮画像データとして、過半数の画素の画素データが上位ｂビットの圧縮画素データＤｏである１ライン分の圧縮画像データを例示したが、本開示の技術はこれに限定されない。例えば、注目ラインにおいて前画素データＤｐの上位ｎビットの平均値と現画素データＤｎの上位ｎビットの平均値とが一致している場合に、注目ラインの圧縮画像データを、上位ビット圧縮画像データとしてもよい。また、注目ラインにおいて前画素データＤｐの上位ｎビットの平均画素値と現画素データＤｎの上位ｎビットの平均画素値とが異なる場合に、注目ラインの圧縮画像データを、下位ビット圧縮画像データとしてもよい。

また、例えば、注目ラインのうちの前画素データＤｐの上位ｎビットの代表画素データと現画素データＤｎの上位ｎビットの代表画素データとが一致している場合に、注目ラインの圧縮画像データを、上位ビット圧縮画像データとしてもよい。また、注目ラインのうちの前画素データＤｐの上位ｎビットの代表画素データと現画素データＤｎの上位ｎビットの代表画素データとが異なる場合に、注目ラインの圧縮画像データを、下位ビット圧縮画像データとしてもよい。

更に、例えば、注目ラインのうちの前画素データＤｐの上位ｎビットの画素データの総計と現画素データＤｎの上位ｎビットの画素データの総計とが一致している場合に、注目ラインの圧縮画像データを、上位ビット圧縮画像データとしてもよい。また、注目ラインのうちの前画素データＤｐの上位ｎビットの画素データの総計と現画素データＤｎの上位ｎビットの画素データの総計とが異なる場合に、注目ラインの圧縮画像データを、下位ビット圧縮画像データとしてもよい。

また、上記第２実施形態では、本開示の技術に係る「複数のビット画像データ」及び「複数の分割画像データ」の一例として上位ビット圧縮画像データ及び下位ビット圧縮画像データを例示したが、本開示の技術はこれに限定されない。本開示の技術に係る「複数のビット画像データ」及び「複数の分割画像データ」として３つ以上のビット圧縮画像データを採用してもよい。

この場合、例えば、上位ビット圧縮画像データ、中位ビット圧縮画像データ、及び下位ビット圧縮画像データが挙げられる。上位ビット圧縮画像データ、中位ビット圧縮画像データ、及び下位ビット圧縮画像データは、第１撮像画像データが、上位ビット、中位ビット、及び下位ビットの３つのビット範囲で分割されることにより得られる。この場合、例えば、図１４に示すように、注目ラインの圧縮画像データの最上位２ビットに対して、上位ビット特定フラグ、中位ビット特定フラグ、又は下位ビット特定フラグが付与される。注目ラインの圧縮画像データの最上位２ビットに対して上位ビット特定フラグが付与されることで上位ビット圧縮画像データが得られる。注目ラインの圧縮画像データの最上位２ビットに対して中位ビット特定フラグが付与されることで中位ビット圧縮画像データが得られる。注目ラインの圧縮画像データの最上位２ビットに対して下位ビット特定フラグが付与されることで下位ビット圧縮画像データが得られる。なお、上述したように、上位ビット特定フラグが“００”であり、下位ビット特定フラグが“０１”の場合、下位ビット特定フラグとしては、“１０”又は“１１”が挙げられる。

また、上記第２実施形態では、上記ステップ２０２に示す圧縮画像データは、複数ラインの圧縮画像データであるが、各ラインの圧縮画像データをそのまま使う必要はない。上記ステップ２０２に示す圧縮画像データには、例えば、複数ラインの圧縮画像データのうちの少なくとも１つのラインの圧縮画像データに対して特定の画像処理が施されることで得られた処理済み圧縮画像データが含まれていても良い。

［第３実施形態］
上記第１及び第２実施形態では、１ライン単位で画素データが比較される形態例を挙げて説明したが、本第３実施形態では、１画素毎に画素データが比較される場合について説明する。なお、本第３実施形態では、上記第１実施形態で説明した構成要素と同一の構成要素については同一の符号を付し、その説明を省略する。

本第３実施形態に係る撮像装置１０は、上記第１実施形態に係る撮像装置１０に比べ、画像処理回路９４Ｃにより、図７に示す圧縮処理に代えて図１５に示す圧縮処理が実行される点が異なる。

そこで、画像処理回路９４Ｃによって実行される本第３実施形態に係る圧縮処理について図１５を参照して説明する。

図１５に示す圧縮処理では、ステップ２５０で、画像処理回路９４Ｃは、第１撮像画像の全画素のうちの未処理の現画素データＤｎをメモリ９６から読み出し、その後、圧縮処理はステップ２５２へ移行する。ここで言う「未処理の現画素データＤｎ」とは、後述のステップ２５４の処理で未だに用いられていない現画素データＤｎを指す。

ステップ２５２で、画像処理回路９４Ｃは、第２撮像画像の全画素のうちの未処理の前画素データＤｐをメモリ９６から読み出し、その後、圧縮処理はステップ２５４へ移行する。

ステップ２５４で、画像処理回路９４Ｃは、ステップ２５０で読み出した現画素データＤｎとステップ２５２で読み出した前画素データＤｐとの上位ｎビットを比較する。そして、画像処理回路９４Ｃは、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なるか否かを判定する。

ステップ２５４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが同じ場合は、判定が否定されて、圧縮処理はステップ２５６へ移行する。ステップ２５４において、現画素データＤｎと前画素データＤｐとの上位ｎビットが異なる場合は、判定が肯定されて、圧縮処理はステップ２５８へ移行する。

ステップ２５６で、画像処理回路９４Ｃは、現画素データＤｎの下位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ２６０へ移行する。

ステップ２５８で、画像処理回路９４Ｃは、現画素データＤｎの上位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ２６０へ移行する。

ステップ２６０で、画像処理回路９４Ｃは、全画素について処理が終了した否かを判定する。本ステップ２６０では、例えば、画像処理回路９４Ｃは、第１撮像画像及び第２撮像画像に含まれる全ての画素の画素データがステップ２５４の処理で用いられた否かを判定する。

ステップ２６０において、全画素について処理が終了していない場合は、判定が否定されて、圧縮処理はステップ２５０へ移行する。ステップ２６０において、全画素について処理が終了した場合は、判定が肯定されて、圧縮処理はステップ２６２へ移行する。

ステップ２６２で、画像処理回路９４Ｃは、ステップ２５６又はステップ２５８の処理が実行されることで得られた全画素についての圧縮画素データＤｏを１フレーム分の圧縮画像データとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。

なお、本ステッ２６２の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「ビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

また、本ステップ２６２において、画像処理回路９４Ｃは、圧縮画像データに対して特定の画像処理を施してもよい。この場合、圧縮画像データに対して特定の画像処理が施された処理済み圧縮画像データが出力回路９４Ｄに出力される。ここで言う「処理済み圧縮画像データ」は、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

以上説明したように、本第３実施形態に係る撮像装置１０では、図１５に示すステップ２５０〜ステップ２５８の処理が１画素毎に実行され、ステップ２６２にて、上記第１実施形態と同様に１フレーム分の圧縮画像データが生成される。

従って、本第３実施形態に係る撮像装置１０でも、上記第１実施形態に係る撮像装置１０と同様に、撮像されて得られた第１撮像画像データをそのまま撮像素子２０の外部に出力する場合に比べ、撮像素子２０の外部への画像データの出力に伴う消費電力を低減することできる。

［第４実施形態］
上記第３実施形態では、単に注目画素の圧縮画素データＤｏを生成する形態例を挙げて説明したが、本第４実施形態では、画素毎に上位ビットの圧縮画素データか下位ビットの圧縮画素データかを特定可能な形態例について説明する。なお、本第４実施形態では、上記第１実施形態と同一の構成要素については同一の符号を付し、その説明を省略する。

本第４実施形態に係る撮像装置１０は、上記第３実施形態に係る撮像装置１０に比べ、画像処理回路９４Ｃにより、図１５に示す圧縮処理に代えて図１６に示す圧縮処理が実行される点が異なる。

そこで、画像処理回路９４Ｃによって実行される本第４実施形態に係る圧縮処理について図１６を参照して説明する。

図１６に示す圧縮処理は、図１５に示す圧縮処理に比べ、ステップ３００，３０２の処理を有する点、及び、ステップ２６２の処理に代えてステップ３０４の処理を有する点が異なる。

図１６に示す圧縮処理では、ステップ２５６の処理が実行された後、圧縮処理はステップ３００へ移行する。

ステップ３００で、画像処理回路９４Ｃは、ステップ２５６で生成した圧縮画素データＤｏの最上位ビットに下位ビット特定フラグを付与し、その後、圧縮処理はステップ２６０へ移行する。本ステップ３００で用いられる下位ビット特定フラグとは、例えば、図１７に示すように“０”を指す。

ステップ３０２で、画像処理回路９４Ｃは、ステップ２５６で生成した圧縮画素データＤｏの最上位ビットに上位ビット特定フラグを付与し、その後、圧縮処理はステップ２６０へ移行する。本ステップ３０２で用いられる上位ビット特定フラグとは、例えば、図１７に示すように“１”を指す。

なお、図１７に示す例では、下位ビット特定フラグとして“０”が例示され、上位ビット特定フラグとして“１”が例示されているが、本開示の技術はこれに限定されない。例えば、下位ビット特定フラグとして“１”を採用し、上位ビット特定フラグとして“０”を採用してもよい。

ステップ２６０において判定が肯定されると、圧縮処理はステップ３０４へ移行する。ステップ３０４で、画像処理回路９４Ｃは、ビット範囲特定フラグが各々付与された全画素の圧縮画像データである１フレーム分の圧縮画像データをとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。

なお、本ステップ１１４の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「ビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

また、本ステップ３０４において、画像処理回路９４Ｃは、圧縮画像データに対して特定の画像処理を施してもよい。この場合、圧縮画像データに対して特定の画像処理が施された処理済み圧縮画像データが出力回路９４Ｄに出力される。ここで言う「処理済み圧縮画像データ」は、本開示の技術に係る「処理済み画像データ」、「１つのビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

以上説明したように、上記第３実施形態に係る撮像装置１０では、１ライン単位で圧縮画像データに対してビット範囲特定フラグが付与されるのに対し、本第４実施形態に係る撮像装置１０では、１画素単位で圧縮画素データＤｏに対してビット範囲特定フラグが付与される。

従って、本第４実施形態に係る撮像装置１０は、１画素毎に、圧縮画素データＤｏが複数のビット範囲のうちの何れのビット範囲に属しているかを特定することができる。

なお、上記第１及び第２実施形態では、１ライン単位で画素データが比較され、上記第３及び第４実施形態では、１画素毎に画素データが比較されたが、本開示の技術はこれに限定されず、１フレーム単位で第１撮像画像データと第２撮像画像データとが比較されるようにしてもよい。この場合、例えば、１フレーム毎に、第１撮像画像データと第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより、１フレーム毎の圧縮画像データが生成されるようにしてもよい。また、１フレーム毎に第１撮像画像データと第２撮像画像データとの上位ｎビットの相違度に応じて１フレーム毎の圧縮画像データが生成されるようにしてもよい。

この場合、例えば、全画素のうちの過半数を超える画素について現画素データＤｎと前画素データＤｐとが異なる場合に、上位ビット圧縮画像データが生成される。また、全画素のうちの過半数を超える画素について現画素データＤｎと前画素データＤｐとが一致する場合に、下位ビット圧縮画像データが生成される。

また、この場合、１フレーム単位で、圧縮画像データに対してビット範囲特定フラグが付与されるようにしてもよい。

上記各実施形態では、現画素データＤｎと前画素データＤｐとの差分に応じて現画素データＤｎと前画素データＤｐとが異なるか否かが判定されるようにしたが、本開示の技術はこれに限定されない。現画素データＤｎ及び前画素データＤｐの一方に対する他方の割合、現画素データＤｎと前画素データＤｐとの和、及び現画素データＤｎと前画素データＤｐとの積に応じて現画素データＤｎと前画素データＤｐとが異なるか否かが判定されるようにしてもよい。また、画素単位での比較に限らず、第１撮像画像及び第２撮像画像を対象としたライン単位での比較でも、フレーム単位での比較でも同様のことが言える。

上記各実施形態では、ライブビュー画像又は記録用の動画像に関する撮像が開始された場合、１フレーム目の撮像画像データが後段回路９０のＩ／Ｆ５６に出力されないが、本開示の技術はこれに限定されない。ライブビュー画像又は記録用の動画像に関する撮像が開始された場合、メモリ９６に第２撮像画像データが記憶される前に、出力回路９４Ｄにより第１撮像画像データが後段回路９０のＩ／Ｆ５６に出力されるようにしてもよい。図１９に示す例では、１フレーム目の撮像画像データである第１撮像画像データがそのまま後段回路９０のＩ／Ｆ５６に出力されている。これにより、メモリ９６に第２撮像画像データが記憶される前であっても、出力回路９４Ｄによる画像データの出力の滞りが回避される。

また、ライブビュー画像又は記録用の動画像に関する撮像が開始された場合、メモリ９６に第２撮像画像データが記憶される前に、出力回路９４Ｄにより、第１撮像画像データのうちの特定のビット範囲に属する画像データに基づくデータが後段回路９０のＩ／Ｆ５６に出力されるようにしてもよい。例えば、図２０に示すように、出力回路９４Ｄにより、１フレーム目の撮像画像データである第１撮像画像データの上位ｎビットが圧縮画像データとして後段回路９０のＩ／Ｆ５６に出力されるようにすればよい。また、１フレーム目の撮像画像データである第１撮像画像データの上位ｎビットに対して特定の画像処理が施された画像データが圧縮画像データとして後段回路９０のＩ／Ｆ５６に出力されるようにしてもよい。

これにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データそのものが出力される場合に比べ、出力回路９４Ｄによる画像データの出力に伴う消費電力が低減される。

また、ライブビュー画像又は記録用の動画像に関する撮像が開始された場合、メモリ９６に第２撮像画像データが記憶される前に、出力回路９４Ｄにより、基準画像データと第１撮像画像データとの相違度に応じて、代替圧縮画像データが出力されるようにしてもよい。これにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データそのものが出力される場合に比べ、出力回路９４Ｄによる画像データの出力に伴う消費電力が低減される。

なお、基準画像データとは、第２撮像画像データに代替する画像データとして予め定められた画像データを指す。予め定められた画像データの一例としては、黒色として視覚的に知覚される黒色レベルの画像を示す画像データが挙げられる。代替圧縮画像データとは、第１撮像画像データが上述した複数のビット範囲で分割されることで圧縮されて得られた圧縮画像データを指す。基準画像データと第１撮像画像データとの相違度は、基準画像データと第１撮像画像データとの差分等であってもよいし、基準画像データと第１撮像画像データとの上位ｎビットの差分等であってもよい。

また、一例として図２２に示すように、光電変換素子９２により既定の時間間隔で静止画用の撮像が連続的に行われる場合、出力回路９４Ｄにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データそのものが出力されるようにしてもよい。この場合、メモリ９６に第２撮像画像データが記憶されたことを条件に、出力回路９４Ｄにより、圧縮画像データが後段回路９０のＩ／Ｆ５６に出力される。例えば、図２２に示す例では、１フレーム目は、出力回路９４Ｄにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データそのものが出力され、２フレーム目以降に、圧縮画像データが出力されている。これにより、メモリ９６に第２撮像画像データが記憶される前であっても、出力回路９４Ｄによる画像データの出力の滞りが回避される。

また、光電変換素子９２により既定の時間間隔で静止画用の撮像が連続的に行われる場合、出力回路９４Ｄにより、メモリ９６に第２撮像画像データが記憶される前に、第１撮像画像データのうちの既定ビット範囲に属する画像データが出力されるようにしてもよい。「第１撮像画像データのうちの既定ビット範囲に属する画像データ」の一例としては、第１撮像画像データのうちの上位ｎビットの画像データが挙げられる。また、図２２に示す例では、「既定の時間間隔」として、垂直駆動信号に応じて定まる時間間隔が採用されている。垂直駆動信号に応じて定まる時間間隔の一例としては、６０ｆｐｓに対応する１６．６６７ｍｓが挙げられる。

上記各実施形態では、圧縮画像データがライブビュー画像の表示に供される場合について説明したが、本開示の技術はこれに限定されない。例えば、圧縮画像データは、後段回路９０において、ＣＰＵ５２により、二次記憶部６０に記憶されるようにしてもよいし、外部Ｉ／Ｆ６３を介して撮像装置１０の外部に出力されるようにしてもよい。

上記各実施形態では、ＡＳＩＣが実現される処理回路９４を例示したが、上述した圧縮処理及び画像データ出力処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

この場合、例えば、図２３に示すように、上述した圧縮処理及び画像データ出力処理を撮像素子２０に内蔵されたコンピュータ２０Ａに実行させるためのプログラム６００を記憶媒体７００に記憶させておく。コンピュータ２０Ａは、ＣＰＵ２０Ａ１、ＲＯＭ２０Ａ２、及びＲＡＭ２０Ａ３を備えている。そして、記憶媒体７００のプログラム６００がコンピュータ２０Ａにインストールされ、コンピュータ２０ＡのＣＰＵ２０Ａ１は、プログラム６００に従って、上述した圧縮処理及び画像データ出力処理を実行する。ここでは、ＣＰＵ２０Ａ１として、単数のＣＰＵを例示しているが、本開示の技術はこれに限定されず、ＣＰＵ２０Ａ１に代えて複数のＣＰＵを採用してもよい。つまり、１つのプロセッサ、又は、物理的に離れている複数のプロセッサによって、上述した圧縮処理及び／又は画像データ出力処理が実行されるようにしてもよい。

なお、記憶媒体７００の一例としては、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの任意の可搬型の記憶媒体が挙げられる。

また、通信網（図示省略）を介してコンピュータ２０Ａに接続される他のコンピュータ又はサーバ装置等の記憶部にプログラム６００を記憶させておき、プログラム６００が撮像装置１０等の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされたプログラム６００がコンピュータ２０Ａによって実行される。

また、コンピュータ２０Ａは、撮像素子２０の外部に設けられるようにしてもよい。この場合、コンピュータ２０Ａがプログラム６００に従って処理回路９４を制御するようにすればよい。

上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。ここで、上記各実施形態で説明した各種処理とは、圧縮処理、画像データ出力処理、及び表示制御処理が挙げられる。プロセッサとしては、例えば、上述したように、ソフトウェア、すなわち、プログラムを実行することで、本開示の技術に係る各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

本開示の技術に係る各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、本開示の技術に係る各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、クライアント及びサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、本開示の技術に係る各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−ｃｈｉｐ）などに代表されるように、本開示の技術に係る各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、本開示の技術に係る各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。

また、上記各実施形態では、撮像装置１０としてレンズ交換式カメラを例示したが、本開示の技術はこれに限定されない。例えば、図２４に示すスマートデバイス９００に対して本開示の技術を適用するようにしてもよい。一例として図２４に示すスマートデバイス９００は、本開示の技術に係る撮像装置の一例である。スマートデバイス９００には、上記実施形態で説明した撮像素子２０が搭載されている。このように構成されたスマートデバイス９００であっても、上記各実施形態で説明した撮像装置１０と同様の作用及び効果が得られる。なお、スマートデバイス９００に限らず、パーソナル・コンピュータ又はウェアラブル端末装置に対しても本開示の技術は適用可能である。

また、上記各実施形態では、表示装置として第１ディスプレイ４０及び第２ディスプレイ８０を例示したが、本開示の技術はこれに限定されない。例えば、撮像装置本体１２に対して後付けされた別体のディスプレイを、本開示の技術に係る「表示部」として用いるようにしてもよい。

また、上記各実施形態では、第１撮像画像データがビット圧縮される形態例を挙げて説明したが、本開示の技術を応用すれば、第１撮像画像データ及び第２撮像画像データの双方をビット圧縮したり、第２撮像画像データをビット圧縮したりすることも可能である。

また、上記実施形態で説明した圧縮処理、画像データ出力処理、及び表示制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

本開示の技術に係る第１８の態様は、コンピュータを、記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる処理部及び出力部として機能させるためのプログラムであって、記憶部は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、処理部は、撮像画像データに対して処理を施し、出力部は、撮像画像データに対して処理が施されることで得られた処理済み画像データと撮像画像データとの少なくとも一方を撮像素子の外部に出力し、処理部は、光電変換素子により撮像されることで得られた第１撮像画像データと記憶部に記憶された第２撮像画像データとの相違度に応じて、第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、出力部は、処理部で生成された圧縮画像データを処理済み画像データとして第２フレームレートで外部に出力する、プログラムである。

撮像装置１０は、撮像系の動作モードとして、静止画撮像モードと動画撮像モードとを有する。静止画撮像モードは、撮像装置１０により被写体が撮像されて得られた静止画像を記録する動作モードであり、動画撮像モードは、撮像装置１０により被写体が撮像されて得られた動画像を記録する動作モードである。

プリズム８４は、第２ディスプレイ８０に表示される電子像又は各種の情報を反射させて接眼レンズ８６に導き、且つ、光学像と第２ディスプレイ８０に表示される電子像及び／又は各種情報とを合成する。

ステップ１０６で、画像処理回路９４Ｃは、注目画素について、現画素データＤｎの下位ｂビットの圧縮画素データＤｏを生成し、その後、圧縮処理はステップ１０９へ移行する。本ステップ１０６において、下位ｂビットは、下位７ビットである。ここで、下位ｂビットの圧縮画素データＤｏを生成するのは、ノイズ情報を後段回路９０に伝えるためである。

そして、算出された論理積が“０”でない場合は、現画素データＤｎの上位［１１：５］のビットを圧縮画素データＤｏの［６：０］のビットとする。算出された論理積が“０”の場合は、現画素データＤｎの下位［６：０］のビットを圧縮画素データＤｏの［６：０］のビットとする。

ステップ１５４で、表示制御部は、表示制御処理を終了する条件である表示制御処理終了条件を満足したか否かを判定する。表示制御処理終了条件は、例えば、上述した表示制御処理終了条件と同じ条件である。

ステップ２０２で、画像処理回路９４Ｃは、ビット範囲特定フラグが各々付与された複数ラインの圧縮画像データを１フレーム分の圧縮画像データとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。

なお、上記第２実施形態では、圧縮画像データの最上位２ビットにビット範囲特定フラグが付与される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、圧縮画像データの最下位２ビットにビット範囲特定フラグが付与されるようにしてもよいし、圧縮画像データ内の特定可能な２ビットにビット範囲特定フラグが付与されるようにしてもよい。また、例えば、圧縮画像データ内のうちの特定の１ビットを、ビット範囲特定フラグが付与されるビットとして用いてもよい。このように、圧縮画像データの一部のビットがビット範囲特定フラグの付与されるビットとして用いられるようにすればよい。

この場合、例えば、上位ビット圧縮画像データ、中位ビット圧縮画像データ、及び下位ビット圧縮画像データが挙げられる。上位ビット圧縮画像データ、中位ビット圧縮画像データ、及び下位ビット圧縮画像データは、第１撮像画像データが、上位ビット、中位ビット、及び下位ビットの３つのビット範囲で分割されることにより得られる。この場合、例えば、図１４に示すように、注目ラインの圧縮画像データの最上位２ビットに対して、上位ビット特定フラグ、中位ビット特定フラグ、又は下位ビット特定フラグが付与される。注目ラインの圧縮画像データの最上位２ビットに対して上位ビット特定フラグが付与されることで上位ビット圧縮画像データが得られる。注目ラインの圧縮画像データの最上位２ビットに対して中位ビット特定フラグが付与されることで中位ビット圧縮画像データが得られる。注目ラインの圧縮画像データの最上位２ビットに対して下位ビット特定フラグが付与されることで下位ビット圧縮画像データが得られる。なお、上述したように、上位ビット特定フラグが“００”であり、下位ビット特定フラグが“０１”の場合、中位ビット特定フラグとしては、“１０”又は“１１”が挙げられる。

なお、本ステップ２６２の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「ビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

ステップ２６０において判定が肯定されると、圧縮処理はステップ３０４へ移行する。ステップ３０４で、画像処理回路９４Ｃは、ビット範囲特定フラグが各々付与された全画素の圧縮画像データを１フレーム分の圧縮画像データとし、１フレーム分の圧縮画像データを出力回路９４Ｄに出力し、画像処理回路９４Ｃは圧縮処理を終了する。

なお、本ステップ３０４の処理が実行されることで出力される圧縮画像データは、本開示の技術に係る「処理済み画像データ」、「ビット画像データに基づくデータ」、及び「分割画像データに基づくデータ」の一例である。

上記各実施形態では、ＡＳＩＣによって実現される処理回路９４を例示したが、上述した圧縮処理及び画像データ出力処理は、コンピュータによるソフトウェア構成により実現されるようにしてもよい。

Claims (18)

1. 撮像素子であって、
   被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、かつ、前記撮像素子に内蔵された記憶部と、
   前記撮像画像データに対して処理を施し、かつ、前記撮像素子に内蔵された処理部と、
   前記撮像画像データに対して前記処理が施されることで得られた処理済み画像データと前記撮像画像データとの少なくとも一方を前記撮像素子の外部に出力し、かつ、前記撮像素子に内蔵された出力部と、を含み、
   前記処理部は、撮像されることで得られた第１撮像画像データと前記記憶部に記憶された第２撮像画像データとの相違度に応じて、前記第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、
   前記出力部は、前記処理部で生成された前記圧縮画像データを前記処理済み画像データとして第２フレームレートで前記外部に出力する
   撮像素子。
2. 前記第１フレームレートは、前記第２フレームレートよりも高いフレームレートである請求項１に記載の撮像素子。
3. 前記第２撮像画像データは、撮像されることで得られた前記第１撮像画像データよりも１フレーム以上前に得られた画像データである請求項１又は請求項２に記載の撮像素子。
4. 前記相違度は、読出部により前記第１撮像画像データがライン単位で読み出される毎の前記第１撮像画像データと前記第２撮像画像データとの前記ライン単位での相違度である請求項１から請求項３の何れか一項に記載の撮像素子。
5. 前記相違度は、前記第１撮像画像データと前記第２撮像画像データとの既定上位ビットについての相違度である請求項１から請求項４の何れか一項に記載の撮像素子。
6. 前記第１撮像画像データ及び前記第２撮像画像データは、互いにビット数が揃った画像データであり、
   前記圧縮画像データは、前記第１撮像画像データのビット数である第１ビットよりも小さな第２ビットの画像データであり、
   前記既定上位ビットは、前記第１ビットから前記第２ビットを減じることで得た値に相当するビットである請求項５に記載の撮像素子。
7. 前記圧縮画像データは、前記第１撮像画像データが前記複数のビット範囲で分割されることにより得られた複数のビット画像データのうちの前記相違度に応じて定められた１つのビット画像データに基づくデータである請求項１から請求項６の何れか一項に記載の撮像素子。
8. 前記複数のビット画像データは、上位ビット画像データ及び下位ビット画像データであり、
   前記圧縮画像データは、前記相違度が既定条件を満たす場合に、前記上位ビット画像データに基づくデータを有し、前記相違度が前記既定条件を満たさない場合に、前記下位ビット画像データに基づくデータを有する請求項７に記載の撮像素子。
9. 前記圧縮画像データの一部のビットは、前記圧縮画像データが前記複数のビット画像データのうちの何れのビット画像データに基づくデータであるのかを特定可能なビット画像特定情報が付与されるビットである請求項７又は請求項８に記載の撮像素子。
10. 前記圧縮画像データは、ライン単位の画像データであり、前記第１撮像画像データが前記複数のビット範囲で分割されることにより得られた複数の分割画像データのうちの何れかの分割画像データに基づくデータであるのかを特定可能な分割画像特定情報を有する請求項１から請求項９の何れか一項に記載の撮像素子。
11. 前記出力部は、動画像用の撮像が開始された場合、前記記憶部に前記第２撮像画像データが記憶される前に、前記第１撮像画像データを前記外部に出力する請求項１から請求項１０の何れか一項に記載の撮像素子。
12. 前記出力部は、動画像用の撮像が開始された場合、前記記憶部に前記第２撮像画像データが記憶される前に、前記第１撮像画像データのうちの特定のビット範囲に属する画像データに基づくデータを前記外部に出力する請求項１から請求項１１の何れか一項に記載の撮像素子。
13. 前記出力部は、動画像用の撮像が開始された場合、前記記憶部に前記第２撮像画像データが記憶される前に、前記第２撮像画像データに代替する画像データとして予め定められた画像データと前記第１撮像画像データとの相違度に応じて、前記第１撮像画像データが複数のビット範囲で分割されることで圧縮されて得られた代替圧縮画像データを前記外部に出力する請求項１から請求項１２の何れか一項に記載の撮像素子。
14. 前記出力部は、既定の時間間隔で静止画用の撮像が連続的に行われる場合、前記記憶部に前記第２撮像画像データが記憶される前に、前記第１撮像画像データ又は前記第１撮像画像データのうちの既定ビット範囲に属する画像データを前記外部に出力し、前記記憶部に前記第２撮像画像データが記憶されたことを条件に、前記圧縮画像データを前記外部に出力する請求項１から請求項１３の何れか一項に記載の撮像素子。
15. 前記撮像素子は、光電変換素子を有し、前記光電変換素子に前記記憶部が積層された積層型撮像素子である請求項１から請求項１４の何れか一項に記載の撮像素子。
16. 請求項１から請求項１５の何れか一項に記載の撮像素子と、
    前記撮像素子に含まれる前記出力部により出力された前記圧縮画像データに基づく画像を表示部に対して表示させる制御を行う制御部と、
    を含む撮像装置。
17. 記憶部と、処理部と、出力部とが内蔵された撮像素子の画像データ処理方法であって、
    前記記憶部に対して、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶させ、
    前記処理部に対して、前記撮像画像データに対して処理を施させ、
    前記出力部に対して、前記撮像画像データに対して前記処理が施されることで得られた処理済み画像データと前記撮像画像データとの少なくとも一方を前記撮像素子の外部に出力させ、
    前記処理部に対して、撮像されることで得られた第１撮像画像データと前記記憶部に記憶された第２撮像画像データとの相違度に応じて、前記第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成させ、
    前記出力部に対して、前記処理部で生成された前記圧縮画像データを前記処理済み画像データとして第２フレームレートで前記外部に出力させることを含む画像データ処理方法。
18. コンピュータを、
    記憶部と、処理部と、出力部とが内蔵された撮像素子に含まれる前記処理部及び前記出力部として機能させるためのプログラムであって、
    前記記憶部は、被写体が第１フレームレートで撮像されることで得られた撮像画像データを記憶し、
    前記処理部は、前記撮像画像データに対して処理を施し、
    前記出力部は、前記撮像画像データに対して前記処理が施されることで得られた処理済み画像データと前記撮像画像データとの少なくとも一方を前記撮像素子の外部に出力し、
    前記処理部は、撮像されることで得られた第１撮像画像データと前記記憶部に記憶された第２撮像画像データとの相違度に応じて、前記第１撮像画像データを複数のビット範囲で分割されることにより圧縮されて得られる圧縮画像データを生成し、
    前記出力部は、前記処理部で生成された前記圧縮画像データを前記処理済み画像データとして第２フレームレートで前記外部に出力する
    プログラム。

Images