JP7147199B2 - 信号処理装置及び信号処理方法 - Google Patents

Description

本開示は、信号処理装置及び信号処理方法に関する。

ＣＣＤイメージセンサやＣＭＯＳイメージセンサを備え、静止画像や動画像を撮像可能に構成された、デジタルスチルカメラやデジタルビデオカメラ等のような撮像装置が知られている。このような撮像装置の中には、ダイナミックレンジの幅を広げるＨＤＲ（High Dynamic Range）という機能が備えられているものがある。例えば、特許文献１には、ＨＤＲ画像を撮像する技術の一例が開示されている。

また、上記のような撮像装置の中には、所謂手ぶれ補正の機能が備えられているものもある。

特開２０１７－１８４０９４号公報

一方で、手ぶれ補正の機能が有効化されている場合においても、被写体自体が動いているような状況下では、画像中に撮像された被写体がぶれる、所謂被写体ぶれが生じる場合がある。特に、手ぶれ補正の機能とＨＤＲの機能とが併用される場合には、撮像条件に応じて、画像中に撮像された被写体のぶれがより顕著に顕在化する場合がある。

そこで、本開示では、画像のダイナミックレンジの確保と、画像のぶれの抑制と、をより好適な態様で両立可能とする技術を提案する。

本開示によれば、複数の画素がアレイ状に配設されたセンサ部による、フレーム内における複数回の露光の結果に応じた撮像画像を、当該フレームごとに取得する取得部と、前記フレーム内における前記複数回の露光のうち、少なくともいずれかの露光の結果に応じた前記撮像画像に基づき出力画像を生成する生成部と、を備え、前記生成部は、手ぶれ補正の機能が有効化されており、かつ、前記複数回の露光のうちいずれかの露光の露光時間が閾値未満の場合に、当該複数回の露光のうちのいずれかの露光に基づく前記撮像画像の明度を補正することで第１の出力画像を生成する、
信号処理装置が提供される。

また、本開示によれば、コンピュータが、複数の画素がアレイ状に配設されたセンサ部による、フレーム内における複数回の露光の結果に応じた撮像画像を、当該フレームごとに取得することと、前記フレーム内における前記複数回の露光のうち、少なくともいずれかの露光の結果に応じた前記撮像画像に基づき出力画像を生成することと、を含み、手ぶれ補正の機能が有効化されており、かつ、前記複数回の露光のうちいずれかの露光の露光時間が閾値未満の場合に、当該複数回の露光のうちのいずれかの露光に基づく前記撮像画像の明度を補正することで第１の出力画像が生成される、信号処理方法が提供される。

以上説明したように本開示によれば、画像のダイナミックレンジの確保と、被写体のぶれの抑制と、をより好適な態様で両立可能とする技術が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る撮像システムのシステム構成の一例について概要を説明するための説明図である。 同実施形態に係る撮像システムを構成する固体撮像装置の概略的な構成の一例を示した図である。 同実施形態に係る撮像システムを構成する信号処理装置の機能構成の一例を示したブロック図である。 ＨＤＲ画像の生成に係る処理の一例について概要を説明するための説明図である。 手ぶれ補正に係る処理の一例について概要を説明するための説明図である。 ＨＤＲ画像の生成と手ぶれ補正とを併用した場合における処理結果の一例について説明するための説明図である。 ＨＤＲ画像の生成に係る処理について説明するための説明図である。 ＨＤＲ画像の生成に係る処理について説明するための説明図である。 ＨＤＲ画像の生成に係る処理について説明するための説明図である。 ＨＤＲ画像の生成に係る処理の流れの一例について説明するための説明図である。 ＨＤＲ画像の生成に係る処理の流れの一例について説明するための説明図である。 同実施形態に係る信号処理装置による出力画像の生成に係る処理の一態様について説明するための説明図である。 同実施形態に係る信号処理装置による出力画像の生成に係る処理の他の一態様について説明するための説明図である。 同実施形態に係る信号処理装置２００の一連の処理の流れの一例について示したフローチャートである。 同実施形態に係る撮像システムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．構成
１．１．システム構成
１．２．固体撮像装置の構成
１．３．信号処理装置の機能構成
２．ダイナミックレンジの確保とぶれの抑制の両立に関する検討
２．１．概要
２．２．二重像が顕在化する原理
３．技術的特長
３．１．基本原理
３．２．処理
４．ハードウェア構成
５．むすび

＜＜１．構成＞＞
本開示の一実施形態に係る撮像システムの構成の一例について以下に説明する。

＜１．１．システム構成＞
まず、図１を参照して、本開示の一実施形態に係る撮像システムの概略的なシステム構成の一例について説明する。図１は、本開示の一実施形態に係る撮像システムのシステム構成の一例について概要を説明するための説明図である。

図１において、参照符号１００は、本実施形態に係る撮像システム１を構成する固体撮像装置（イメージセンサ）を模式的に示している。固体撮像装置１００は、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサやＣＣＤ（Charge Coupled Device）イメージセンサ等のように、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。

また、参照符号２００は、固体撮像装置１００の各画素からの画素信号に基づき供給される画像信号に対して、信号処理（画像処理）を施す信号処理装置を模式的に示している。信号処理装置２００は、例えば、所謂信号処理ＬＳＩ（Large Scale Integration）として構成されていてもよい。この場合には、撮像装システム１（即ち、当該信号処理ＬＳＩ及び固体撮像装置１００）が、カメラモジュールとして構成されていてもよい。また、他の一例として、信号処理装置２００が、固体撮像装置１００とは異なる外部の装置として構成されていてもよい。また、他の一例として、信号処理装置２００に相当する構成が、固体撮像装置１００の一部として構成されていてもよい。なお、以降の説明では、固体撮像装置１００から出力される画像信号、即ち、固体撮像装置１００による撮像結果に応じた画像を、「撮像画像」とも称する。

信号処理装置２００により撮像画像に対して施される信号処理としては、例えば、黒レベル補正、混色補正、欠陥補正、デモザイク処理、マトリックス処理、ガンマ補正、およびＹＣ変換等が挙げられる。また、本実施形態に係る信号処理装置２００は、ダイナミックレンジの幅を広げたＨＤＲ画像の生成に係る処理や、所謂手ぶれ補正の処理等を実行してもよい。なお、ＨＤＲ画像の生成に係る処理や、手ぶれ補正の処理については、一例について詳細を別途後述する。

即ち、図１に示すように、本実施形態に係る撮像システム１では、固体撮像装置１００は、図示しない光学系素子を介して入射した光を光電変換し、各画素の画素値をＡ／Ｄ変換することで、被写体の撮像画像を生成する。そして、固体撮像装置１００は、生成した撮像画像（即ち、画像信号）を信号処理装置２００に出力する。

信号処理装置２００は、固体撮像装置１００から撮像画像を取得し、取得した撮像画像に対して信号処理（画像処理）を施し、信号処理後の撮像画像を出力画像として所定の出力先に出力する。また、信号処理装置２００は、上記出力画像を、例えば、図視しない記憶部に画像データとして記憶させてもよい。また、信号処理装置２００は、固体撮像装置１００からフレームごとに逐次出力される撮像画像に対して信号処理を施すことで、当該フレームごとに出力画像を生成してもよい。この場合には、信号処理装置２００は、複数のフレームそれぞれについて生成された一連の出力画像を動画像として出力してもよい。

以上、図１を参照して、本開示の一実施形態に係る撮像システムの概略的なシステム構成の一例について説明した。

＜１．２．固体撮像装置の構成＞
続いて、図２を参照して、本開示の一実施形態に係る撮像システムを構成する固体撮像装置の構成の一例について説明する。図２は、本開示の一実施形態に係る撮像システムを構成する固体撮像装置の概略的な構成の一例を示した図である。具体的には、図２では、固体撮像装置が、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のＭＯＳ型イメージセンサとして構成されている場合の一例について示している。

図２に示すように、固体撮像装置１００は、半導体基板１１１、例えばシリコン基板に複数の光電変換部を含む画素１０２が規則的に２次元アレイ状に配列された画素アレイ（いわゆる画素領域）１０３と、周辺回路部とを有して構成される。画素１０２は、光電変換部となる例えばフォトダイオードと、複数の画素トランジスタ（いわゆるＭＯＳトランジスタ）を有して成る。複数の画素トランジスタは、例えば転送トランジスタ、リセットトランジスタ及び増幅トランジスタの３つのトランジスタで構成することができる。その他、選択トランジスタ追加して４つのトランジスタで構成することもできる。画素１０２は、１つの単位画素として構成することができる。また、画素１０２は、共有画素構造とすることもできる。この共有画素構造は、複数のフォトダイオードと、複数の転送トランジスタと、共有する１つのフローティングディフージョンと、共有する１つずつの他の画素トランジスタとから構成される。すなわち、共有画素では、複数の単位画素を構成するフォトダイオード及び転送トランジスタが、他の１つずつの画素トランジスタを共有して構成される。なお、画素アレイ１０３が、固体撮像装置１００における「センサ部」の一例に相当する。

周辺回路部は、垂直駆動回路１０４と、カラム信号処理回路１０５と、水平駆動回路１０６と、出力回路１０７と、制御回路１０８などを有して構成される。

制御回路１０８は、入力クロックと、動作モードなどを指令するデータを受け取り、また固体撮像装置の内部情報などのデータを出力する。すなわち、制御回路１０８では、垂直同期信号、水平同期信号及びマスタクロックに基づいて、垂直駆動回路１０４、カラム信号処理回路１０５及び水平駆動回路１０６などの動作の基準となるクロック信号や制御信号を生成する。そして、これらの信号を垂直駆動回路１０４、カラム信号処理回路１０５及び水平駆動回路１０６等に入力する。

垂直駆動回路１０４は、例えばシフトレジスタによって構成され、画素駆動配線を選択し、選択された画素駆動配線に画素を駆動するためのパルスを供給し、行単位で画素を駆動する。すなわち、垂直駆動回路１０４は、画素アレイ１０３の各画素１０２を行単位で順次垂直方向に選択走査し、垂直信号線１０９を通して各画素１０２の光電変換部となる例えばフォトダイオードにおいて受光量に応じて生成した信号電荷に基づく画素信号をカラム信号処理回路１０５に供給する。

カラム信号処理回路１０５は、画素１０２の例えば列ごとに配置されており、１行分の画素１０２から出力される信号を画素列ごとにノイズ除去などの信号処理を行う。すなわちカラム信号処理回路１０５は、画素１０２固有の固定パターンノイズを除去するためのＣＤＳや、信号増幅、ＡＤ変換等の信号処理を行う。カラム信号処理回路１０５の出力段には水平選択スイッチ（図示せず）が水平信号線１１０との間に接続されて設けられる。

水平駆動回路１０６は、例えばシフトレジスタによって構成され、水平走査パルスを順次出力することによって、カラム信号処理回路１０５の各々を順番に選択し、カラム信号処理回路１０５の各々から画素信号を水平信号線１１０に出力させる。

出力回路１０７は、カラム信号処理回路１０５の各々から水平信号線１１０を通して順次に供給される信号に対し、信号処理を行って出力する。例えば、バファリングだけする場合もあるし、黒レベル調整、列ばらつき補正、各種デジタル信号処理などが行われる場合もある。入出力端子１１２は、外部と信号のやりとりをする。

以上、図２を参照して、本開示の一実施形態に係る撮像システムを構成する固体撮像装置の構成の一例について説明した。

＜１．３．信号処理装置の機能構成＞
続いて、図３を参照して、本開示の一実施形態に係る撮像システムを構成する信号処理装置の機能構成の一例について説明する。図３は、本開示の一実施形態に係る撮像システムを構成する信号処理装置の機能構成の一例を示したブロック図である。

図３に示すように、信号処理装置２００は、信号処理部２０１と、制御部２０３とを含む。なお、信号処理装置２００は、信号処理以外の他の機能を実行するための構成を含んでもよいが、図３に示す例では、説明をわかりやすくするために、信号処理部２０１及び制御部２０３以外の構成の図示を省略している。

信号処理部２０１は、信号処理装置２００に入力された画像信号、即ち、固体撮像装置１００から出力される撮像画像に対して各種信号処理を施すことで出力画像を生成する。なお、当該信号処理の一例については前述した通りである。また、信号処理部２０１は、撮像画像に対して施す信号処理が、制御部２０３により制御されてもよい。なお、信号処理部２０１のうち、固体撮像装置１００から撮像画像を取得する部分が「取得部」の一例に相当する。また、信号処理部２０１のうち、出力画像を生成する部分が「生成部」の一例に相当する。

制御部２０３は、各種条件に応じて、信号処理部２０１の動作、即ち、撮像画像に対して施される信号処理を制御する。例えば、制御部２０３は、所定の入力部（図示を省略する）を介したユーザからの指示に応じて、当該信号処理を制御してもよい。より具体的な一例として、制御部２０３は、手ぶれ補正の機能が有効化された場合に、入力された撮像画像に対して手ぶれ補正の処理が施されるように、信号処理部２０１の動作を制御してもよい。同様に、制御部２０３は、ＨＤＲの機能が有効化された場合に、入力された撮像画像に基づき出力画像としてＨＤＲ画像が生成されるように、信号処理部２０１の動作を制御してもよい。また、制御部２０３は、有効化された機能の組み合わせや、シャッタースピード、絞り、及びホワイトバランス等のような撮像条件に応じて、信号処理部２０１の動作を制御してもよい。

なお、上述した構成はあくまで一例であり、信号処理装置２００の機能構成は必ずしも図３に示す例には限定されない。例えば、信号処理装置２００に含まれる各構成のうち、一部の構成が当該信号処理装置２００の外部に設けられていてもよい。また、信号処理装置２００の各機能が、複数の装置が連携して動作することで実現されてもよい。

以上、図３を参照して、本開示の一実施形態に係る撮像システムを構成する信号処理装置の機能構成の一例について説明した。

＜＜２．ダイナミックレンジの確保とぶれの抑制の両立に関する検討＞＞
続いて、ＨＤＲ画像の生成に係る処理と、手ぶれ補正に係る処理と、についてそれぞれ概要を説明したうえで、画像のダイナミックレンジの確保と、画像上に顕在化するぶれの抑制と、の両立に係る技術的課題について説明する。

＜２．１．概要＞
まず、ＨＤＲ画像の生成に係る処理の一例について概要を説明する。例えば、セルサイズの比較的大きい撮像素子（固体撮像装置）は、光量が少ないシーンにおいても高い感度での受光が可能である。そのため、所謂白とびが生じるような状況下では、白とびが生じていた部分の階調が損なわれないようにシャッタースピードを調整する（即ち、速くする）ことで、ダイナミックレンジの広い画像を撮像することが可能である。一方で、セルサイズの比較的小さい撮像素子においては、光量が少ないシーンにおいて高い感度での受光が困難な場合があり、このような場合には、上述のようなシャッタースピードの調整のみではダイナミックレンジの広い画像を撮像することが困難となる場合がある。このような場合においても、ＨＤＲと称される技術を利用することで、撮像素子による撮像結果に基づき、ダイナミックレンジの広い画像（即ち、ＨＤＲ画像）を生成することが可能となる。

ＨＤＲ画像を生成する技術として、互いに異なる露光時間で撮像された複数の画像を合成する方法が挙げられる。具体的な一例として、複数回の露光を時分割で行い、当該複数回の露光の結果に基づく露光時間の異なる複数の画像（撮像画像）を合成することで、当該複数の画像それぞれよりもダイナミックレンジのより広い画像（即ち、ＨＤＲ画像）を生成する方法が挙げられる。特に、近年では、各画素の受光結果を読み出す速度を向上させることで１フレーム内に複数回の露光を行うことが可能な撮像素子も提案されており、このような撮像素子に上記手法を適用した場合には、フレームごとにＨＤＲ画像を生成することも可能となる。

例えば、図４は、ＨＤＲ画像の生成に係る処理の一例について概要を説明するための説明図であり、ＨＤＲ画像の生成時における露光の動作を模式的に示している。具体的には、図４の上側及び下側に示した図において、横軸は露光時間を示しており、縦軸は露光量を示している。即ち、図４に示す例では、１フレーム内において露光時間の異なる２回の露光を行い、当該２回の露光の結果に基づきＨＤＲ画像が生成される。より具体的には、２回の露光の結果を加算することで長時間露光による画像（長露光画像）が生成され、当該２回の露光のうちのいずれか一方の露光の結果に基づき短時間露光による画像（短露光画像）が生成される。そして、生成された長露光画像及び短露光画像が合成されることでＨＤＲ画像が生成される。なお、長露光画像が「第１の撮像画像」の一例に相当し、短露光画像が「第２の撮像画像」の一例に相当する。

より具体的な一例として、図４の上側の図では、参照符号Ｅ１１及びＥ１２で示した２回の露光が、１フレーム内においてこの順に時分割で行われている。このとき、露光Ｅ１１の露光時間は、露光Ｅ１２の露光時間よりも長く設定されている。この場合には、露光Ｅ１１及びＥ１２それぞれの露光結果が加算されることで長露光画像が生成され、露光Ｅ１２の露光結果に基づき短露光画像が生成される。

一方で、図４に示す例の場合には、撮像素子のハードウェア上の制約により、フレームごとに生成されるＨＤＲ画像に、当該画像中の被写体のぶれ（以下、「二重像」とも称する）が生じる場合がある。具体的には、このような二重像は、動体を被写体として撮像している状況下で、１フレーム内における複数回の露光のうち少なくとも一部の露光の露光時間（換言すると、シャッタースピード）が撮像素子の読み出し時間よりも短い場合により顕在化しやすい傾向にある。なお、撮像素子の読み出し時間とは、当該撮像素子の画素アレイが垂直方向にＨ行の画素からなる場合に、１行目からＨ行目まで順次データを読み出すために要する時間に相当する。例えば、図４において、参照符号Ｔ１は、撮像素子の露光ごとの読み出し時間を示している。また、参照符号ＳＳは、各露光における露光時間を示している。具体的な一例として、図４に示す例では、露光時間ＳＳは、露光Ｅ１１、Ｅ１２、Ｅ２１、及びＥ２２それぞれの露光時間に相当する。

具体的には、図４の下側の図は、１フレーム内における複数回の露光のうち一部の露光の露光時間ＳＳが撮像素子の読み出し時間Ｔ１未満（ＳＳ＜Ｔ１）の場合の一例を示している。具体的には、図４の下側の図では、参照符号Ｅ２１及びＥ２２で示した２回の露光が、１フレーム内においてこの順に時分割で行われている。このとき、露光Ｅ２１の露光時間は、露光Ｅ２２の露光時間よりも長く設定されている。この場合には、露光Ｅ２１及びＥ２２それぞれの露光結果が加算されることで長露光画像が生成され、露光Ｅ２２の露光結果に基づき短露光画像が生成される。また、これに対して、図４の上側の図は、１フレーム内における複数回の露光のうち一部の露光の露光時間ＳＳが撮像素子の読み出し時間Ｔ１以上（ＳＳ≧Ｔ１）の場合の一例に相当する。

図４の下側の図に示すように、露光Ｅ２２の露光時間ＳＳが撮像素子の読み出し時間Ｔ１未満（ＳＳ＜Ｔ１）の場合には、当該撮像素子のハードウェア上の制約により、露光Ｅ２１と露光Ｅ２２との間に露光が行われないブランク期間Ｔ２が生じることとなる。このような場合において、露光Ｅ２１及びＥ２２それぞれの露光結果を合成することで長露光画像を生成した場合に、当該露光Ｅ２１及びＥ２２が不連続となり、ブランク期間Ｔ２における情報の欠落が、被写体のぶれ（即ち、二重像）として当該長露光画像に顕在化する。なお、撮像素子のハードウェア上の制約については、詳細を別途後述する。

次いで、手ぶれ補正に係る処理の一例について概要を説明する。例えば、図５は、手ぶれ補正に係る処理の一例について概要を説明するための説明図であり、主に、動画像の撮像を想定した手ぶれ補正の手法の一例について示している。図５において、参照符号Ｖ１１０及びＶ１２０は、連続するフレームＮ及びフレームＮ＋１それぞれにおいて撮像された、手ぶれ補正が行われる前の画像を示している。即ち、画像Ｖ１１０及びＶ１２０が、手ぶれ補正に係る処理の入力画像に相当する。また、参照符号Ｖ１３０は、画像Ｖ１１０及びＶ１２０を重畳させた画像に相当し、手ぶれにより画像Ｖ１１０及びＶ１２０間に生じるずれを模式的に示している。また、参照符号Ｖ１１９及びＶ１２９は、フレームＮ及びフレームＮ＋１に対応する手ぶれ補正が行われた後の画像をそれぞれ示している。

図５に示す例では、フレームごとに撮像された画像（即ち、入力画像）それぞれから一部の領域を切り出すことで、出力画像を生成する。このとき、複数のフレーム間における撮像素子の位置や姿勢のずれを加速度センサやジャイロセンサ等の各種センサにより検出することで、当該複数のフレーム間における画像のずれが算出される。そして、算出された複数のフレーム間における画像のずれに基づき、当該複数のフレームのうち少なくとも一部のフレームについて、入力画像から出力画像として切り出す領域の位置や範囲が補正される。

具体的な一例として、図５に示す例では、フレームＮ＋１に対応する入力画像Ｖ１２０から出力画像とＶ１２９として切り出される領域の位置が、フレームＮ及びフレームＮ＋１間における画像のずれに応じて補正されている。より具体的には、参照符号Ｖ１１１は、フレームＮに対応する入力画像Ｖ１１０から出力画像Ｖ１１９として切り出される領域を模式的に示している。また、参照符号Ｖ１２１及びＶ１２３は、フレームＮ＋１に対応する入力画像Ｖ１２０から出力画像Ｖ１２９として切り出される領域を模式的に示している。なお、領域Ｖ１２１は、切り出し位置が補正される前の領域に相当し、入力画像Ｖ１１０における領域Ｖ１１１と同様の位置に設定されている。これに対して、領域Ｖ１２３は、フレームＮ及びフレームＮ＋１間における画像のずれに応じて切り出し位置が補正された後の領域を示している。

以上のようにして、フレームＮ及びフレームＮ＋１それぞれに対応する出力画像Ｖ１１９及びＶ１２９が生成されることで、フレームＮ及びフレームＮ＋１間における画像のぶれ（即ち、手ぶれ）が補正される。

一方で、図４を参照して説明したＨＤＲ画像の生成に係る処理と、図５を参照して説明した手ぶれ補正に係る処理と、を併用すると、画像中の一部のぶれが、手ぶれ補正の処理に伴いより強調される場合がある。例えば、図６は、ＨＤＲ画像の生成と手ぶれ補正とを併用した場合における処理結果の一例について説明するための説明図である。

図６において、参照符号Ｖ１５０及びＶ１６０は、連続するフレームＮ及びフレームＮ＋１それぞれにおいて撮像された、手ぶれ補正が行われる前の画像（即ち、入力画像）を示している。また、参照符号Ｖ１７０は、入力画像Ｖ１５０及びＶ１７０を重畳させた画像に相当し、手ぶれにより入力画像Ｖ１５０及びＶ１６０間に生じるずれを模式的に示している。また、参照符号Ｖ１５９及びＶ１７９は、フレームＮ及びフレームＮ＋１に対応する手ぶれ補正が行われた後の画像（即ち、出力画像）をそれぞれ示している。また、参照符号Ｖ１５１は、フレームＮに対応する入力画像Ｖ１５０から出力画像Ｖ１５９として切り出される領域を模式的に示している。また、参照符号Ｖ１６１及びＶ１６３は、フレームＮ＋１に対応する入力画像Ｖ１６０から出力画像Ｖ１６９として切り出される領域を模式的に示している。具体的には、領域Ｖ１６１は、切り出し位置が補正される前の領域に相当する。また、領域Ｖ１６３は、切り出し位置が補正された後の領域に相当する。即ち、図６に示す例では、図５に示す例と同様に、フレームＮ＋１に対応する入力画像Ｖ１２０から出力画像とＶ１２９として切り出される領域の位置を、フレームＮ及びフレームＮ＋１間における画像のずれに応じて補正することで、当該フレームＮ及びフレームＮ＋１間における手ぶれを補正している。

一方で、図４を参照して前述したように、１フレーム内における複数回の露光のうち一部の露光の露光時間ＳＳが撮像素子の読み出し時間Ｔ１未満（ＳＳ＜Ｔ１）となる場合に、生成されるＨＤＲ画像に二重像が顕在化する場合がある。例えば、図６に示す例では、フレームＮ＋１に対応する入力画像Ｖ１６０に二重像が顕在化している。このとき、図５を参照して説明した手ぶれ補正の処理では、入力画像からの出力画像の切り出しがフレーム単位で行われる。そのため、例えば、図６に示す入力画像Ｖ１６０のように、二重像が顕在化した入力画像について、出力画像を切り出す位置が補正されたとしても、二重像は依然として残留することとなる。また、前述したように、ＨＤＲ画像は、複数回の露光の結果に応じた複数の画像が合成されることで生成される。このような特性から、例えば、当該複数の画像のうちいずれかの画像を基準として手ぶれ補正が適用されることで、他の画像についてずれがより強調され、結果として画像のぶれがより強調された不自然な画像として知覚される場合がある。

＜２．２．二重像が顕在化する原理＞
次いで、図７～図９を参照して、ＨＤＲ画像の生成時に二重像が顕在化する原理について概要を説明する。図７～図９は、ＨＤＲ画像の生成に係る処理について説明するための説明図であり、１フレーム内における複数回の露光のうち一部の露光の露光時間ＳＳを変化させた場合の一例についてそれぞれ示している。

例えば、図７は、１フレーム内における複数回の露光それぞれの露光時間ＳＳが、いずれも撮像素子の読み出し時間Ｔ１以上となる場合の一例について示している。具体的には、図７に示す例では、参照符号Ｅ１１１及びＥ１１２で示した２回の露光が、１フレーム内においてこの順に時分割で行われている。このとき、露光Ｅ１１１の露光時間は、露光Ｅ１１２の露光時間よりも長く設定されている。また、露光Ｅ１１１及びＥ１１２それぞれの露光時間は、いずれも撮像素子の読み出し時間Ｔ１よりも長く設定されている。以上のような条件の基で、露光Ｅ１１１及びＥ１１２それぞれの露光結果が加算されることで長露光画像が生成され、露光Ｅ１１２の露光結果に基づき短露光画像が生成されるものとする。

また、図７において、参照符号Ｒ１１１は、露光Ｅ１１１の露光結果の読み出しに係る処理を模式的に示している（以下、「読み出しＲ１１１」とも称する）。即ち、読み出しＲ１１１は、撮像素子の画素アレイが垂直方向にＨ行の画素からなる場合に、１行目からＨ行目まで順次データが読み出される状況を模式的に示している。同様に、参照符号Ｒ１１２は、露光Ｅ１１２の露光結果の読み出しに係る処理を模式的に示している（以下、「読み出しＲ１１２」とも称する）。

図７に示す例では、露光Ｅ１１１の完了後に読み出しＲ１１１及び露光Ｅ１１２が開始されている。このとき、露光Ｅ１１２の完了時には、読み出しＲ１１１が既に終了しているため、読み出しＲ１１２を順次開始することが可能となる。また、図７に示す例では、露光Ｅ１１１及びＥ１１２が連続的に実行されるため、当該露光Ｅ１１１及びＥ１１２それぞれの露光結果が加算されることで生成される長露光画像には、理想的には二重像が顕在化しないこととなる。

これに対して、図８は、１フレーム内における複数回の露光のうち一部の露光の露光時間ＳＳが、撮像素子の読み出し時間Ｔ１未満となる場合の一例について示している。具体的には、図８に示す例では、参照符号Ｅ１２１及びＥ１２２で示した２回の露光が、１フレーム内においてこの順に時分割で行われている。このとき、露光Ｅ１２１の露光時間は、露光Ｅ１２２の露光時間よりも長く設定されている。また、露光Ｅ１２２については、露光時間が撮像素子の読み出し時間Ｔ１よりも短く設定されている。以上のような条件の基で、露光Ｅ１２１及びＥ１２２それぞれの露光結果が加算されることで長露光画像が生成され、露光Ｅ１２２の露光結果に基づき短露光画像が生成されるものとする。

また、図８において、参照符号Ｒ１２１は、露光Ｅ１２１の露光結果の読み出しに係る処理を模式的に示している（以下、「読み出しＲ１２１」とも称する）。同様に、参照符号Ｒ１２２は、露光Ｅ１２２の露光結果の読み出しに係る処理を模式的に示している（以下、「読み出しＲ１２２」とも称する）。

図８に示す例では、露光Ｅ１２１の完了後に読み出しＲ１２１及び露光Ｅ１２２が開始されている。そのため、この場合には、読み出しＲ１２１が完了する前に露光Ｅ１２２が完了することとなり、特に制約が無い限りは、読み出しＲ１２１が完了する前に、読み出しＲ１２２が開始されることとなる。

一方で、撮像素子の中には、ハードウェア上の制約により、撮像素子の画素アレイが垂直方向にＨ行の画素からなる場合に、最後のＨ行目のデータの読み出しを終えてからでないと、次の露光に基づく１行目からの読み出しを開始することが困難なものがある。このような撮像素子においては、図８に示す例の場合には、露光Ｅ１２１の露光結果の読み出しＲ１２１が完了するまでは、露光Ｅ１２２の露光結果の読み出しＲ１２２が制限される。即ち、読み出しＲ１２２を、読み出しＲ１２１の完了前に実行される読み出しＲ１２２ａと、読み出しＲ１２１の完了後に実行される読み出しＲ１２２ｂとに分けた場合に、読み出しＲ１２２ａの実行が制限されることとなる。

そこで、上述のように露光結果の読み出しが制限される撮像素子においては、各露光の露光結果の読み出しの期間が重複しないように、一部の露光の開始タイミングが制御される場合がある。

例えば、図９は、１フレーム内における複数回の露光のうち一部の露光の露光時間ＳＳが、撮像素子の読み出し時間Ｔ１未満となる場合において、当該一部の露光の開始タイミングが制御される場合の一例について示している。具体的には、図９に示す例において、露光Ｅ１３１及びＥ１３２は、図８に示す例における露光Ｅ１２１及びＥ１２２に対応している。

また、図９において、参照符号Ｒ１３１は、露光Ｅ１３１の露光結果の読み出しに係る処理を模式的に示している（以下、「読み出しＲ１３１」とも称する）。同様に、参照符号Ｒ１３２は、露光Ｅ１３２の露光結果の読み出しに係る処理を模式的に示している（以下、「読み出しＲ１３２」とも称する）。

即ち、図９に示す例では、露光Ｅ１３１の露光結果の読み出しＲ１３１の完了後に、露光Ｅ１３２の露光結果の読み出しＲ１３２が開始されるように、当該露光Ｅ１３２の開始タイミングが制御されている。これにより、露光Ｅ１３１の終了後から露光Ｅ１３２が開始されるまでに、参照符号Ｔ１１で示した露光が行われない期間（以下、「ブランク期間Ｔ１１」とも称する）が生じる。即ち、図４の下側の図を参照して前述した例と同様に、露光Ｅ１３１及びＥ１３２それぞれの露光結果を合成することで長露光画像を生成した場合に、ブランク期間Ｔ１１における情報の欠落が、被写体のぶれ（即ち、二重像）として当該長露光画像に顕在化することとなる。

ここで、図１０及び図１１を参照して、ＨＤＲ画像の生成に係る処理の流れの一例について説明することで、当該ＨＤＲ画像上に二重像が顕在化する仕組みについてさらに詳しく説明する。図１０及び図１１は、ＨＤＲ画像の生成に係る処理の流れの一例について説明するための説明図である。

まず、図１０を参照して、ＨＤＲ画像の生成に係る処理の基本的な流れについて、静止した被写体を撮像した場合を例に説明する。図１０に示す例では、図７に示す例と同様に、１フレーム内において、第１の露光と、当該第１の露光よりも露光時間の短い第２の露光と、がこの順に実行され、当該第１の露光及び当該第２の露光それぞれの露光結果に基づきＨＤＲ画像が生成されるものとする。

具体的には、図１０において、参照符号Ｖ２０１は、第１の露光の露光結果（以下、「第１の露光結果」とも称する）を模式的に示している。また、参照符号Ｖ２０３は、第２の露光の露光結果（以下、「第２の露光結果」とも称する）を模式的に示している。なお、第１の露光及び第２の露光それぞれの露光期間は、１フレームよりも短くなるため、第１の露光結果Ｖ２０１及び第２の露光結果Ｖ２０３は、アンダー露出となる傾向にある。また、このとき、第２の露光は、第１の露光よりも露光期間が短くなる。そのため、第２の露光結果Ｖ２０３は、第１の露光結果Ｖ２０１に比べて、よりアンダー露出となる傾向にある。

このような前提の基で、第１の露光結果Ｖ２０１と第２の露光結果Ｖ２０３とが合成（加算）されることで、長露光画像Ｖ２０５が生成される。長露光画像Ｖ２０５においては、露光結果の合成後の値（換言すると、画素値）が撮像素子のビットレンジを超える部分については飽和し、所謂白とびとして顕在化することとなる。

また、第２の露光結果Ｖ２０３に対してゲイン調整処理が施されることで、当該第２の露光結果Ｖ２０３よりも明度が高くなるように（即ち、明るくなるように）補正された短露光画像Ｖ２０７が生成される。なお、短露光画像Ｖ２０７については、撮像素子のビットレンジよりも広いビットレンジでの制御が可能なため、補正後に撮像素子のビットレンジを超える部分が存在したとしても、当該部分の情報が飽和せず保持される。

そして、長露光画像Ｖ２０５と短露光画像Ｖ２０７とがＨＤＲ合成されることで、撮像素子により撮像される画像よりもビットレンジの広いＨＤＲ画像Ｖ２０９が生成される。このとき、長露光画像Ｖ２０７のうち、撮像素子のビットレンジを超える部分（即ち、白とびが生じている部分）の情報が、短露光画像Ｖ２０９により補間されることとなる。また、短露光画像Ｖ２０９については、明度の比較的低い部分については、明度が明るい部分に比べてノイズの影響がより顕在化しやすい傾向にある。そのため、端畜画像Ｖ２０９において、ノイズの影響がより顕在化しやすい明度の比較的低い部分の情報については、長露光画像Ｖ２０７により補完されることとなる。以上のようにして、長露光画像Ｖ２０５及び短露光画像Ｖ２０７よりも実質的にビットレンジの広いＨＤＲ画像Ｖ２０９を生成することが可能となる。

なお、生成されたＨＤＲ画像Ｖ２０９については、ビット圧縮によりビットレンジが調整された後に、外部に出力されてもよい。例えば、参照符号Ｖ２１１は、ＨＤＲ画像Ｖ２０９に対してビット圧縮が施されることでビットレンジが調整された出力画像を示している。

以上、図１０を参照して、ＨＤＲ画像の生成に係る処理の基本的な流れについて、静止した被写体を撮像した場合を例に説明した。

続いて、図１１を参照して、ＨＤＲ画像の生成時に二重像が顕在化する仕組みについて、動く被写体を撮像した場合を例に説明する。図１１に示す例では、図９に示す例と同様に、１フレーム内において、第１の露光と、当該第１の露光よりも露光時間の短い第２の露光と、がこの順に実行され、当該第１の露光及び当該第２の露光それぞれの露光結果に基づきＨＤＲ画像が生成されるものとする。また、図９に示す例と同様に、第２の露光の露光時間ＳＳは、撮像素子の読み出し時間Ｔ１未満となるように設定されているものとする。即ち、第１の露光と第２の露光との間にはブランクが生じることとなる。

具体的には、図１１において、参照符号Ｖ２３１は、第１の露光結果を模式的に示している。また、参照符号Ｖ２３３は、第２の露光結果を模式的に示している。また、図１０に示す例と同様に、第１の露光及び第２の露光それぞれの露光期間は、１フレームよりも短くなるため、第１の露光結果Ｖ２３１及び第２の露光結果Ｖ２３３は、アンダー露出となる傾向にある。また、このとき、第２の露光は、第１の露光よりも露光期間が短くなる。そのため、第２の露光結果Ｖ２３３は、第１の露光結果Ｖ２３１に比べて、よりアンダー露出となる傾向にある。

このような前提の基で、第１の露光結果Ｖ２３１と第２の露光結果Ｖ２３３とが合成（加算）されることで、長露光画像Ｖ２３５が生成される。なお、このとき、第１の露光と第２の露光との間にブランク期間が生じていることにより、当該長露光画像Ｖ２３５には、二重像が顕在化する。長露光画像Ｖ２３５に顕在化した二重像は、第１の露光結果Ｖ２３１に撮像された被写体と第２の露光結果Ｖ２３３に撮像された被写体とが重畳した部分が適正露出に調整され、その他の部分は、各露光結果の露出（即ち、アンダー露出）が反映される。

また、第２の露光結果Ｖ２３３に対してゲイン調整処理が施されることで、当該第２の露光結果Ｖ２３３よりも明度が高くなるように補正された短露光画像Ｖ２３７が生成される。

そして、長露光画像Ｖ２３５と短露光画像Ｖ２３７とがＨＤＲ合成されることで、撮像素子により撮像される画像よりもビットレンジの広いＨＤＲ画像Ｖ２３９が生成される。また、生成されたＨＤＲ画像Ｖ２３９は、ビット圧縮によりビットレンジが調整された後に、外部に出力されてもよい。例えば、参照符号Ｖ２４１は、ＨＤＲ画像Ｖ２３９に対してビット圧縮が施されることでビットレンジが調整された出力画像を示している。

なお、長露光画像Ｖ２３５に二重像が顕在化していると、当該長露光画像Ｖ２３５に基づき生成されるＨＤＲ画像Ｖ２３９や、当該ＨＤＲ画像Ｖ２３９のビットレンジが調整された出力画像Ｖ２４１にも、同様に二重像が顕在化することとなる。

また、このようにして生成されたＨＤＲ画像Ｖ２３９を基に手ぶれ補正が行われると、画像のぶれがより強調される場合がある。具体的には、第１の露光と第２の露光とは、実行されるタイミングや露光期間が異なる。そのため、第１の露光結果Ｖ２３１及び第２の露光結果Ｖ２３３に基づく長露光画像Ｖ２３５と、第２の露光結果Ｖ２３３に基づく短露光画像Ｖ２３７とは、互いに異なるフレーム間でそれぞれを比較した場合に、画像のずれが一致しない場合がある。このような状況下で、例えば、長露光画像Ｖ２３５を基準として手ぶれ補正が適用された場合に、フレーム間における短露光画像Ｖ２３７のぶれがより強調され、結果として不自然な画像として知覚される場合がある。

以上のような状況を鑑み、本開示では、画像のダイナミックレンジの確保と、画像のぶれ（特に、被写体のぶれに伴う二重像）の抑制と、をより好適な態様で両立可能とする技術の一例について提案する。

＜＜３．技術的特長＞＞
続いて、本開示の一実施形態に係る撮像システムの技術的特徴として、画像のダイナミックレンジの確保と、画像のぶれの抑制と、をより好適な態様で両立可能とする技術について説明する。

＜３．１．基本原理＞
まず、本開示の一実施形態に係る撮像システムにおいて、画像のダイナミックレンジの確保と、画像のぶれの抑制と、をより好適な態様で両立可能とする技術の基本原理について説明する。

本実施形態に係る撮像システムにおいて、信号処理装置２００は、ＨＤＲの機能が有効化されている場合に、図９に示すように、１フレーム内における複数回の露光間でブランク期間が生じるか否かに応じて、出力画像の生成方法を制御する。即ち、信号処理装置２００は、１フレーム内における複数回の露光のうち少なくともいずれかの露光の露光時間ＳＳが撮像素子の読み出し時間Ｔ１未満となるか否かに応じて、出力画像の生成方法を制御する。また、このとき信号処理装置２００は、手ぶれ補正の機能が有効化されているか否かに応じて、出力画像の生成方法を制御する。

具体的には、信号処理装置２００は、１フレーム内における複数回の露光それぞれの露光時間ＳＳが撮像素子の読み出し時間Ｔ１以上となる場合や、手ぶれ補正の機能が有効化されていない場合には、図１０を参照して説明した例と同様に出力画像（即ち、ＨＤＲ画像）を生成する。

例えば、図１２は、本実施形態に係る信号処理装置２００による出力画像の生成に係る処理の一態様について説明するための説明図であり、被写体の明度（入力）と、画像として出力される画素値（出力）との関係を示している。図１２において、横軸は被写体の明度を示しており、縦軸は画像として出力される画素値を示している。参照符号ＯＵＴ１１は、撮像素子のダイナミックレンジの上限を示している。即ち、出力値ＯＵＴ１１は、撮像素子による露光結果として出力可能な画素値の最大値に相当する。また、参照符号ＩＮ１１、出力値ＯＵＴ１１に対応する被写体の明度を示している。これに対して、参照符号ＯＵＴ１２は、ＨＤＲ画像として出力可能な画素値の最大値を示している。また、参照符号ＩＮ１２は、出力値ＯＵＴ１２に対応する被写体の明度を示している。

また、図１２において、参照符号Ｅ２１１は、長露光画像（例えば、図１０における長露光画像Ｖ２３５）における入出力の関係を示している。図１２に示すように、長露光画像Ｅ２１１は、適正露出となるように制御されている場合には、撮像素子のダイナミックレンジ内において、入力と同等の出力を得ることが可能である。一方で、撮像素子のダイナミックレンジを超える入力については、出力が飽和することとなる。即ち、長露光画像Ｅ２１１においては、被写体の各部のうち、入力値ＩＮ１１よりも明るい部分については、出力値ＯＵＴ１１として出力される（即ち、飽和する）こととなり、正しく階調が表現されない所謂白とびの状態となる。

これに対して、参照符号Ｅ２１２ａは、短露光画像（例えば、図１０における第２の露光結果Ｖ２３３）における入出力の関係を示している。短露光画像Ｅ２１２ａでは、長旅行画像Ｅ２１１よりも露光時間が短く設定されることで、長露光画像Ｅ２１１に比べてアンダー露出となるものの、入力値ＩＮ１２までの階調が撮像素子の露光結果に再現されることとなる。

以上のような特性を利用し、図１２に示す例では、信号処理装置２００は、被写体の明度が入力値ＩＮ１１よりも暗い部分については長露光画像Ｅ２１１を利用し、入力値ＩＮ１１よりも明るい部分については短露光画像Ｅ２１２ａを利用することでＨＤＲ画像を生成する。具体的には、信号処理装置２００は、短露光画像Ｅ２１２ａに対してゲイン調整処理を施すことで、当該短露光画像Ｅ２１２ａの明度がより高くなるように補正する。例えば、参照符号Ｅ２１２ｂは、ゲイン調整処理が施された後の短露光画像における入出力の関係を示している。そして、信号処理装置２００は、長露光画像Ｅ２１１のうち明度が出力値ＯＵＴ１１以下の部分と、ゲイン調整処理後の短露光画像Ｅ２１２ｂのうち明度が出力値ＯＵＴ１１を超える部分と、を合成することで、出力画像（ＨＤＲ画像）を生成する。

一方で、信号処理装置２００は、１フレーム内における複数回の露光のうち少なくともいずれかの露光時間ＳＳが撮像素子の読み出し時間Ｔ１未満となり、かつ、手ぶれ補正の機能が有効化されている場合には、当該複数回の露光のうちのいずれかの露光結果に基づき出力画像を生成する。

例えば、図１３は、本実施形態に係る信号処理装置２００による出力画像の生成に係る処理の他の一態様について説明するための説明図であり、被写体の明度（入力）と、画像として出力される画素値（出力）との関係を示している。図１３における横軸及び縦軸は、図１２における横軸及び縦軸と同様である。また、入力値ＩＮ２１及びＩＮ２２は、図１２における入力値ＩＮ１１及びＩＮ１２に相当する。同様に、出力値ＯＵＴ２１及びＯＵＴ２２は、図１２における出力値ＯＵＴ１１及びＯＵＴ１２に相当する。

また、図１３において、参照符号Ｅ２２２ａは、短露光画像（例えば、図１０における第２の露光結果Ｖ２３３）における入出力の関係を示しており、図１２における短露光画像Ｅ２１２ａに相当する。また、参照符号Ｅ２２２ｂは、短露光画像Ｅ２２２ａに対してゲイン調整処理が施された後の入出力の関係を示しており、図１２における短露光画像Ｅ２１２ｂに相当する。

即ち、図１３に示す例では、信号処理装置２００は、１フレーム中の複数回の露光のうちのいずれかの露光結果（例えば、図１１における第２の露光結果Ｖ２３３）に基づく短露光画像の明度を補正することで出力画像を生成する。この場合には、出力画像の生成に長露光画像（即ち、二重像が顕在化した画像）が使用されないため、出力画像への二重像の顕在化が抑制されることとなる。

一方で、短露光画像Ｅ２２２ａは、被写体のうち明度が撮像素子の感度に応じた閾値未満となる部分について、ノイズの影響がより大きくなる（例えば、ＳＮ比がより小さくなる）場合がある。このようにノイズの影響がより大きい部分については、ゲイン調整処理によりノイズがより顕在化しやすい傾向にある。そのため、例えば、図１３に示す例では、ノイズの影響がより顕在化しやすい部分（即ち、出力値がある閾値未満となる部分）については、出力画像としての出力が制限されてもよい。なお、このような制御が行われた場合においても、長露光画像Ｅ２１２や短露光画像Ｅ２１２ａをそのまま出力する場合に比べて、より広いダイナミックレンジを確保することが可能となる。

以上のように、本実施形態に係る信号処理装置２００は、二重像が顕在化しやすい撮像条件か否かに応じて、出力画像の生成に係る処理を選択的に切り替える。このような構成により、信号処理装置２００は、その時々の撮像条件に応じて、画像のダイナミックレンジの確保と、画像のぶれの抑制とをより好適な態様で両立することが可能となる。

なお、図１３を参照して説明した方法により生成される出力画像が、「第１の出力画像」の一例に相当する。これに対して、図１２を参照して説明した方法により生成される出力画像（即ち、ＨＤＲ画像）が、「第２の出力画像」の一例に相当する。上述のように、第１の出力画像の生成に係る処理と、第２の出力画像の生成に係る処理と、の切り替えに係る要因として露光時間（換言すると、シャッタースピード）が挙げられる。このような特性から、例えば、暗いシーンのようにシャッタースピードが長くなるような状況下では第１の出力画像が生成され、明るいシーンのようにシャッタースピードが短くなるような状況下では第２の出力画像が生成されるように制御が行われてもよい。

以上、図１２及び図１３を参照して、本開示の一実施形態に係る撮像システムにおいて、画像のダイナミックレンジの確保と、画像のぶれの抑制と、をより好適な態様で両立可能とする技術の基本原理について説明した。

＜３．２．処理＞
続いて、本開示の一実施形態に係る信号処理装置２００の一連の処理の流れの一例について、特に、撮像条件に応じて出力画像の生成に係る処理を選択的に切り替える部分に着目して説明する。例えば、図１４は、本実施形態に係る信号処理装置２００の一連の処理の流れの一例について示したフローチャートであり、出力画像の生成に係る処理の流れについて示している。

図１４に示すように、信号処理装置２００は、手ぶれ補正が有効化されていない場合には（Ｓ１０１、ＮＯ）、１フレーム中に実行される複数回の露光の露光結果を合成することで出力画像（即ち、ＨＤＲ画像）を生成する（Ｓ１０７）。また、信号処理装置２００は、手ぶれ補正が有効化されている場合においても（Ｓ１０１、ＹＥＳ）、１フレーム中の複数回の露光それぞれの露光時間がいずれも閾値以上となる場合には（Ｓ１０３、ＮＯ）、当該複数回の露光の露光結果を合成することで出力画像（即ち、ＨＤＲ画像）を生成する（Ｓ１０７）。このような制御により、二重像が顕在化しにくい撮像条件においては、よりダイナミックレンジの広い画像（ＨＤＲ画像）が出力されることとなる。

これに対して、手ぶれ補正が有効化されており（Ｓ１０１、ＹＥＳ）、かつ、１フレーム中の複数回の露光のうちいずれかの露光時間が閾値未満の場合（Ｓ１０３、ＹＥＳ）には、信号処理装置２００は、一部の露光の露光結果に対してゲイン調整処理を施すことで出力画像を生成する（Ｓ１０５）。このような制御により、二重像が顕在化しやすい撮像条件においても、当該二重像の顕在化を抑制し、かつ個々の露出結果よりもダイナミックレンジの広い出力画像が出力される。即ち、当該条件下においても、可能な限り、画像のダイナミックレンジの確保と、画像のぶれの抑制と、を両立した出力画像が出力されることとなる。

以上、図１４を参照して、本開示の一実施形態に係る信号処理装置２００の一連の処理の流れの一例について、特に、撮像条件に応じて出力画像の生成に係る処理を選択的に切り替える部分に着目して説明した。

＜＜４．ハードウェア構成＞＞
続いて、図１５を参照しながら、本実施形態に係る撮像システムを構成する信号処理装置（例えば、図１に示す信号処理装置２００）を、所謂サーバ等のような外部の情報処理装置として構成した場合における、当該情報処理装置のハードウェア構成の一例について説明する。図１５は、本開示の一実施形態に係る撮像システムを構成する情報処理装置９００のハードウェア構成の一例を示す機能ブロック図である。

本実施形態に係る撮像システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図３を参照して前述した、信号処理部２０１及び制御部２０３は、例えば、ＣＰＵ９０１により実現され得る。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ－ＤＶＤメディア又はＢｌｕ－ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ－２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る撮像システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１５では図示しないが、本実施形態に係る撮像システムを構成する情報処理装置９００に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る撮像システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。

＜＜５．むすび＞＞
以上説明したように、本開示の一実施形態に係る撮像素子ステムにおいて、信号処理装置２００は、複数の画素がアレイ状に配設された画素アレイ（センサ部）による、フレーム内における複数回の露光の結果に応じた撮像画像を、当該フレームごとに取得する。また、信号処理装置２００は、フレーム内における上記複数回の露光のうち、少なくともいずれかの露光の結果に応じた上記撮像画像に基づき出力画像を生成する。このような構成の基で、信号処理装置２００は、手ぶれ補正の機能が有効化されており、かつ、上記複数回の露光のうちいずれかの露光の露光時間が閾値未満の場合に、当該複数回の露光のうちのいずれかの露光に基づく撮像画像の明度を補正することで第１の出力画像を生成する。

また、信号処理装置２００は、手ぶれ補正の機能が有効化されていない場合と、複数回の露光に露光時間が前記閾値未満となる露光が含まれない場合と、の少なくともいずれかの場合に、上記複数回の露光それぞれの結果に応じた撮像画像に基づき、当該複数回の露光それぞれに対応する撮像画像よりもダイナミックレンジの広い第２の出力画像を生成してもよい。

以上のような構成により、本実施家体に係る信号処理装置２００は、撮像条件に応じて、画像のダイナミックレンジの確保と、画像のぶれの抑制とをより好適な態様で両立することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
複数の画素がアレイ状に配設されたセンサ部による、フレーム内における複数回の露光の結果に応じた撮像画像を、当該フレームごとに取得する取得部と、
前記フレーム内における前記複数回の露光のうち、少なくともいずれかの露光の結果に応じた前記撮像画像に基づき出力画像を生成する生成部と、
を備え、
前記生成部は、手ぶれ補正の機能が有効化されており、かつ、前記複数回の露光のうちいずれかの露光の露光時間が閾値未満の場合に、当該複数回の露光のうちのいずれかの露光に基づく前記撮像画像の明度を補正することで第１の出力画像を生成する、
信号処理装置。
（２）
前記生成部は、前記手ぶれ補正の機能が有効化されていない場合と、前記複数回の露光に露光時間が前記閾値未満となる露光が含まれない場合と、の少なくともいずれかの場合に、前記複数回の露光それぞれの結果に応じた前記撮像画像に基づき、当該複数回の露光それぞれに対応する前記撮像画像よりもダイナミックレンジの広い、前記第１の出力画像とは異なる第２の出力画像を生成する、前記（１）に記載の信号処理装置。
（３）
前記生成部は、前記複数回の露光の結果に応じた第１の撮像画像と、当該複数回の露光のうちいずれかの露光の結果に応じた第２の撮像画像と、を合成することで、前記第２の出力画像を生成する、前記（２）に記載の信号処理装置。
（４）
前記生成部は、前記第２の撮像画像の明度を補正し、補正後の当該第２の撮像画像と前記第１の撮像画像とを合成することで、前記第２の出力画像を生成する、前記（３）に記載の信号処理装置。
（５）
前記複数回の露光は、露光時間が互いに異なる、前記（１）～（４）のいずれか一項に記載の信号処理装置。
（６）
前記生成部は、前記複数回の露光のうち、露光時間の短い露光の当該露光時間が前記閾値未満の場合に、当該露光に基づく前記撮像画像の明度を補正することで前記第１の出力画像を生成する、前記（５）に記載の信号処理装置。
（７）
前記手ぶれ補正の機能は、前記センサ部により撮像された画像から一部を前記撮像画像として切り出す位置をぶれ量に応じて制御することで、フレーム間における画像のぶれを補正する機能である、前記（１）～（６）のいずれか一項に記載の信号処理装置。
（８）
前記生成部は、フレームごとに生成された複数の前記出力画像を動画像として出力する、前記（１）～（７）のいずれか一項に記載の信号処理装置。
（９）
コンピュータが、
複数の画素がアレイ状に配設されたセンサ部による、フレーム内における複数回の露光の結果に応じた撮像画像を、当該フレームごとに取得することと、
前記フレーム内における前記複数回の露光のうち、少なくともいずれかの露光の結果に応じた前記撮像画像に基づき出力画像を生成することと、
を含み、
手ぶれ補正の機能が有効化されており、かつ、前記複数回の露光のうちいずれかの露光の露光時間が閾値未満の場合に、当該複数回の露光のうちのいずれかの露光に基づく前記撮像画像の明度を補正することで第１の出力画像が生成される、
信号処理方法。

１ 撮像システム
１００ 固体撮像装置
１０２ 画素
１０３ 画素アレイ
１０４ 垂直駆動回路
１０５ カラム信号処理回路
１０６ 水平駆動回路
１０７ 出力回路
１０８ 制御回路
１０９ 垂直信号線
１１０ 水平信号線
１１１ 半導体基板
１１２ 入出力端子
２００ 信号処理装置
２０１ 信号処理部
２０３ 制御部

Claims (8)

1. 複数の画素がアレイ状に配設されたセンサ部による、フレーム内における複数回の露光の結果に応じた撮像画像を、当該フレームごとに取得する取得部と、
   前記フレーム内における前記複数回の露光のうち、少なくともいずれかの露光の結果に応じた前記撮像画像に基づき出力画像を生成する生成部と、
   を備え、
   前記生成部は、
   手ぶれ補正の機能が有効化されており、かつ、前記複数回の露光のうちいずれかの露光の露光時間が閾値未満の場合に、当該複数回の露光のうちのいずれかの露光に基づく前記撮像画像の明度を補正することで第１の出力画像を生成し、
   前記手ぶれ補正の機能が有効化されていない場合と、前記複数回の露光に露光時間が前記閾値未満となる露光が含まれない場合と、の少なくともいずれかの場合に、前記複数回の露光それぞれの結果に応じた前記撮像画像に基づき、当該複数回の露光それぞれに対応する前記撮像画像よりもダイナミックレンジの広い、前記第１の出力画像とは異なる第２の出力画像を生成する、
   信号処理装置。
2. 前記生成部は、前記複数回の露光の結果に応じた第１の撮像画像と、当該複数回の露光のうちいずれかの露光の結果に応じた第２の撮像画像と、を合成することで、前記第２の出力画像を生成する、請求項１に記載の信号処理装置。
3. 前記生成部は、前記第２の撮像画像の明度を補正し、補正後の当該第２の撮像画像と前記第１の撮像画像とを合成することで、前記第２の出力画像を生成する、請求項２に記載の信号処理装置。
4. 前記複数回の露光は、露光時間が互いに異なる、請求項１～３のいずれか１項に記載の信号処理装置。
5. 前記生成部は、前記複数回の露光のうち、露光時間の短い露光の当該露光時間が前記閾値未満の場合に、当該露光に基づく前記撮像画像の明度を補正することで前記第１の出力画像を生成する、請求項４に記載の信号処理装置。
6. 前記手ぶれ補正の機能は、前記センサ部により撮像された画像から一部を前記撮像画像として切り出す位置をぶれ量に応じて制御することで、フレーム間における画像のぶれを補正する機能である、請求項１～５のいずれか１項に記載の信号処理装置。
7. 前記生成部は、フレームごとに生成された複数の前記出力画像を動画像として出力する、請求項１～６のいずれか１項に記載の信号処理装置。
8. コンピュータが、
   複数の画素がアレイ状に配設されたセンサ部による、フレーム内における複数回の露光の結果に応じた撮像画像を、当該フレームごとに取得することと、
   前記フレーム内における前記複数回の露光のうち、少なくともいずれかの露光の結果に応じた前記撮像画像に基づき出力画像を生成することと、
   を含み、
   手ぶれ補正の機能が有効化されており、かつ、前記複数回の露光のうちいずれかの露光の露光時間が閾値未満の場合に、当該複数回の露光のうちのいずれかの露光に基づく前記撮像画像の明度を補正することで第１の出力画像が生成され、
   前記手ぶれ補正の機能が有効化されていない場合と、前記複数回の露光に露光時間が前記閾値未満となる露光が含まれない場合と、の少なくともいずれかの場合に、前記複数回の露光それぞれの結果に応じた前記撮像画像に基づき、当該複数回の露光それぞれに対応する前記撮像画像よりもダイナミックレンジの広い、前記第１の出力画像とは異なる第２の出力画像が生成される、
   信号処理方法。

Images