JP7446805B2 - 撮像装置、制御方法およびプログラム - Google Patents

Description

本発明は、撮像装置、制御方法およびプログラムに関して、特に、被写体を撮像して画像を取得する際の露出補正に関する。

従来、デジタルカメラなどの撮像装置においては、被写体に応じた適正な明るさの画像データ（以下、単に画像と称す）を取得するために、撮像素子に入射する被写体の光束に係る光量の調整や、画像のゲインを調整するなどの種々の技術が知られている。

ところで、光には、輝度や色などの要素の他にも、偏光と呼ばれる性質がある。偏光は光の振動方向と考えることができ、光源から発した光は、被写体で反射する際に様々な振動方向成分（偏光方向）を持つことが知られている。しかし、実際は偏光された光と偏光していない光がすべて合成されて人間の眼に届くため、人間が光の偏光方向を感知する機会は少ない。一方で、ＰＬ（Ｐｏｌａｒｉｚｅｄ Ｌｉｇｈｔ：偏光）フィルタを使うなどして、光の偏光方向をコントロールすることで、不要な反射光を抑える技術が知られている。

例えば、ＰＬフィルタを任意の角度に回転させることによって、反射による水面やガラス面への映りこみを除去した画像を得ることが可能となるが、ＰＬフィルタを回転させる角度によっては、十分に偏光成分を除去できない場合がある。この問題は、撮像装置の傾きに関連する。

そこで、特許文献１では、撮像装置の入射光軸を中心とする傾きを検出し、検出した傾きに基づき、偏光分離素子層を透過する光の偏光軸を電気的にねじらせるように偏光制御素子を駆動制御する技術が提案されている。また、特許文献２では、互いに異なる偏光角度の複数の偏光光を撮像することにより取得した入力画像から、物体に対する照明方向を任意に選択した出力画像を得ることの可能な撮像装置について提案されている。

特開２０１５－２６９３７号公報 特開２０１７－２２８９１０号公報

しかしながら、特許文献１で提案されている技術では、撮像装置の傾き情報に基づいてＴＮ（ＴＷＩＳＴＥＤ ＮＥＭＡＴＩＣ）液晶や偏光分離素子層としてＧＨ（ＧＵＥＳＴ ＨＯＳＴ）液晶を駆動制御することで偏光成分の分離を可能としている。したがって、特に動画撮影時には、撮像装置の傾き情報に基づいてこれらの液晶を常に駆動制御する必要があり、電力消費が高くなる虞がある。

また、特許文献２で提案されている技術では、被写体像に対して３方向の偏光輝度情報を得ることで法線情報の演算を行うことができるが、例えば、偏光子の数や配列が複雑になった場合に、偏光の法線情報の演算に係る処理負荷が大きくなる虞がある。

そこで、本発明の目的は、簡易な構成で、偏光フィルタを介して取得された画像における不自然な輝度変化を抑制することである。

上記目的を達成するため、本発明の撮像装置は、異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、前記撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を取得する取得手段と、基準位置に対する撮影画角の変化を検出する検出手段と、画像データに対する補正量として、前記被写体の偏光情報と前記検出手段による検出の結果に基づくゲイン補正量を算出する算出手段とを有する撮像装置であって、前記取得手段は、前記被写体の偏光情報として、前記偏光フィルタの異なる複数の偏光角度ごとの光の強度を示す角度依存成分を取得し、前記算出手段は、前記検出手段による検出の結果に基づいて、前記角度依存成分における前記基準位置に対する撮影画角の変化分の輝度値に相当するゲイン補正量を前記画像データに対する補正量として算出し、前記検出手段は、基準位置に対する撮影画角の変化として、加速度センサの出力に基づいて、前記撮像装置の移動量に関する情報を検出可能であり、前記取得手段は、前記撮像装置を用いた被写体の撮影開始のトリガーに連動して、もしくは、前記撮像装置の電源投入に合わせて、前記角度依存成分を取得し、前記撮像装置がパンニング状態に移行した際には前記撮像装置の移動量に関する情報の検出が終了した後に、前記角度依存成分を取得することを特徴とする。

本発明によれば、簡易な構成で、偏光フィルタを介して取得された画像における不自然な輝度変化を抑制することができる。

本発明を実施した撮像装置の第１実施形態である撮像装置１００の構成を説明するブロック図である。 本発明の第１実施形態に係るセンサ１０２の画素および偏光フィルタの関係を例示的に説明する図である。 窓ガラスで反射が発生している自動車を被写体とする場合の、偏光角度ごとに得られる画像を例示的に説明する図である。 偏光角度ごとの角度依存成分の度合いを例示的に説明する図である。 撮像装置の傾きの違いにより得られる画像を比較するための図である。 本発明の第１実施形態に係る、撮像装置の傾きによる偏光角度の角度依存成分の変化を例示的に説明する図である。 本発明の第１実施形態に係る露出補正量決定処理を説明するフローチャートである。 本発明の第２実施形態に係る露出補正量決定処理のフローチャートである。 撮像装置１００のパンニング移行、およびパンニング終了の判定方法を例示的に説明するための図である。 本発明の第３実施形態に係る露出補正量決定処理のフローチャートである。

（第１実施形態）
（撮像装置１００の基本構成）
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図１は、本発明を実施した撮像装置の第１実施形態である撮像装置１００の構成を説明するブロック図である。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサ（マイクロプロセッサ、マイクロコンピュータ）がソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学レンズ１０１は、不図示のフォーカスレンズ、シフトレンズ、ズームレンズや絞りなどを備え、被写体の光学像を示す光束を撮像装置１００の内部に導くための撮像光学系であって、後述するセンサ１０２の撮像面に光を結像することができる。

センサ１０２は、光学レンズ１０１により導かれた被写体の光束を受光して電気的な画像信号に変換することができるＣＭＯＳ等の電荷蓄積型の固体撮像素子を採用した撮像手段である。なお、撮像装置１００においては、被写体の光束に対応する光学像を電気信号への変換する際の感度（受光感度）を変更することが可能である。この受光感度の調整および画像信号に変換後のデジタルゲイン量の調整により、画像信号の明るさを調整することができる。本実施形態では、これらを総称して撮影感度とし、撮像装置１００においては、ＩＳＯ感度を変更することで、この撮影感度を調整することが可能である。

なお、センサ１０２は、各画素上に偏光フィルタを備え、偏光フィルタの偏光角度として、少なくとも異なる３つ以上の角度を備える。この偏光フィルタを備えたセンサ１０２の詳細について、図２を参照して例示的に説明する。図２は、本発明の第１実施形態に係るセンサ１０２の画素および偏光フィルタの関係を例示的に説明する図である。図２（ａ）は、センサ１０２の一部領域２０１に含まれる各画素と偏光フィルタの偏光角度の関係を説明する図であって、図２（ｂ）は、一部領域２０１の各画素とカラーフィルタの並びを説明する図である。なお、センサ１０２は、各画素上に偏光フィルタを備え、偏光フィルタの偏光角度として、少なくとも異なる３つ以上の角度を備える。

図２（ａ）に図示するように、センサ１０２は、例えば、１６画素（連続する縦４画素×横４画素）を１つの画素群とする一部領域２０１について、各画素に合わせて偏光角度が０°、４５°、９０°、１３５°となる偏光フィルタが規則的に配設されている。なお、偏光角度の並びはこれに限定されるものではないが、後述するカラーフィルタの配置に合わせて、規則的に各偏光フィルタを並べる方が、各偏光角度の画像データを得る際の処理負荷が軽減されるので好ましい。また、偏光角度としては上述した４つの角度以外を用いてもよい。

また、図２（ｂ）に図示するように、一部領域２０１を構成する４画素（連続する縦２画素×横２画素）ごとに同一のカラーフィルタが配されている。本実施形態では、図２（ｂ）に図示するように、一部領域２０１における左上４画素に合わせてカラーフィルタＲが配されている。また、一部領域２０１における左下４画素および右上４画素に合わせてカラーフィルタＧｂとＧｒが配されている。そして、一部領域２０１における右下４画素に合わせてカラーフィルタＢが配されている。

したがって、センサ１０２は、一部領域２０１構成する４画素単位に合わせて所謂ベイヤー配列のカラーフィルタが搭載されている。したがって、一部領域２０１を基準とした場合、（不図示）のカラーフィルタごとに４つの偏光角度で撮像した画像信号が得られ、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色成分を合わせた偏光角度ごとの画像信号を得ることができる。また、後述するように、本実施形態では、偏光角度が異なる４画素から得られる信号に基づいて、被写体の偏光情報を取得することができる。なお、本実施形態における偏光情報は、各偏光角度に対応した画素から出力された画素レベルの差分値として示される。センサ１０２を介して出力された画像の一例については後述する。

図１に戻り、画像取得部１０３は、センサ１０２の出力を画像データとして取得する画像取得手段である。なお、センサ１０２の出力に基づいて各偏光角度の画像データは、偏光算出部１０４に出力する。また、記録用の画像データは画像処理部１０５へ出力する。

偏光算出部１０４は、画像取得部１０３から出力された画像データに基づいて、撮像範囲に含まれる被写体に対応した偏光角度（偏光方向）を算出する算出手段（偏光情報取得手段）であって、被写体の偏光情報を取得することができる。具体的に、偏光算出部１０４は、各偏光角度の偏光フィルタに対応する画素から出力された信号に基づいて、０°、４５°、９０°、１３５°の偏光角度に対応する４画素を１組とし、偏光角度に対する画素毎の光強度である角度依存成分を算出する。この、角度依存成分を算出することにより、精度の高い被写体像の偏光成分を抽出することが可能となる。角度依存成分の算出方法については後述する。

図３は、窓ガラスで反射が発生している自動車を被写体とする場合の、偏光角度ごとに得られる画像を例示的に説明する図である。図３に図示するように、偏光角度０°の画像では窓ガラスの反射が強く、車内の人物を視認することが困難な状態である。反対に、偏光角度９０°の画像では、窓ガラスの反射が弱く、車内の人物が精度よく視認することができる状態である。そのほか、偏光角度４５°と偏光角度１３５°の画像では、反射が偏光角度０°と偏光角度９０°の中間強程度で、車内の人物がうっすらと視認できる状態である。

次に、図４を参照して角度依存成分の算出方法について説明する。図４は、偏光角度ごとの角度依存成分の度合いを例示的に説明する図であって、横軸は偏光角度、縦軸は角度依存成分を示している。なお、図４で図示する角度依存成分としては、図２（ａ）で図示した偏光フィルタ（画素構造）を備える撮像素子であって、４つの異なる偏光角度０°、４５°、９０°、１３５°の偏光光を撮像した場合について、例示的に説明する。

図４に図示するように、それぞれの偏光角度に対応する輝度値４０１，４０２，４０３，４０４を取得してプロットする。なお、輝度値の算出方法は、公知の方法であればどのようなものでもよく、例えば、偏光角度ごとに得られる画素データの平均輝度値を輝度値４０１，４０２，４０３，４０４とすればよい。なお、輝度値の単位は、所謂ＡＰＥＸ（ＡＤＤＩＴＩＶＥ ＳＹＳＴＥＭ ＯＦ ＰＨＯＴＯＧＲＡＰＨＩＣ ＥＸＰＯＳＵＲＥ）システムにおける１ＢＶを輝度値の１段分とするが、これ以外の単位で輝度値を求める構成であってもよい。

図４に図示するように、関数Ｉ（θ）は、偏光角度ごとに変化する角度依存成分の変化周期を示しており、１８０°周期変化する正弦関数または余弦関数で表現可能である。したがって、４つの輝度値のプロット点は、正弦関数または余弦関数で周期的に変化するカーブでフィッティングを行うことができる。

本実施形態では、各偏光角度で得られた輝度値をフィッティングした関数Ｉ（θ）の最大値Ｉｍａｘと最小値Ｉｍｉｎを求め、被写体像の偏光の角度依存成分Ｉｐ－ｐ＝Ｉｍａｘ－Ｉｍｉｎを求める。この角度依存成分は、被写体像が光源によってどの程度反射しているか否かを判断する数値であり、振幅が大きいほど偏光度が高くなる（反射の度合いが強くなる）。

図１に戻り、傾きゲイン補正部１０８は、偏光算出部１０４で算出された各組（ブロック）の角度依存成分を、撮像装置１００の傾き情報と比較して輝度値の変化分を補正する補正手段である。傾きゲイン補正部１０８は、偏光算出部１０４で算出した角度依存成分が示す関数Ｉ（θ）におけるセンサ１０２の画素毎の輝度値について、撮像装置１００の光軸（マウントの中心軸）を中心とした回転方向の傾きに対する変化分を算出し、輝度値を補正する。

ここで、輝度値を補正する理由について説明する。センサ１０２が備える偏光フィルタは、偏光角度が０°、４５°、９０°、１３５°と画素毎に固定であるため、撮影姿勢が変化することで撮像装置１００が光軸中心に対して傾く（回転する）と、偏光の角度依存成分が変化する。図５は、撮像装置の傾きの違いにより得られる画像を比較するための図である。図５（ａ）は、基準となる位置（撮像装置１００の正位置）に対して、撮像装置１００が傾いていない状態で得られる画像を示し、図５（ｂ）は、基準となる位置に対して、撮像装置１００が傾いた状態で得られる画像を示している。なお、図５の各図で示す画像は、偏光角度が０°の状態で得られる画像を示す。

図５（ａ）に対して、図５（ｂ）で示す状態は、撮影者の姿勢の変化によって撮像装置１００が光軸中心でプラス方向に傾いた場合の画像である（本実施形態では、図面における時計回りの回転をプラス方向とする）。図５（ａ）では、窓ガラスの反射が強く、自動車の車内に存在する人物が視認できない状態である。これに対して図５（ｂ）では、撮像装置１００が光軸中心に所定の角度傾いたため、実質的な偏光角度が０°から変化し、車内の人物が視認できる（うっすらと見える）状態へと変化している。すなわち、撮像装置１００の傾きにより、窓ガラスに該当する箇所における実質的な偏光角度が変化することで、窓ガラスにおける反射の度合い（輝度値）が変化する。

図６は、本発明の第１実施形態に係る、撮像装置の傾きによる偏光角度の角度依存成分の変化を例示的に説明する図である。なお、図６において、図４と同一のものに関しては同一の符号を付してその説明は省略する。図６に図示する輝度値６０１、６０２は、撮像装置１００が光軸中心に対して所定の角度だけ傾いた場合の偏光角度０°（の偏光フィルタ）に対応する画素から得られる輝度値４０１が変化した値を示す。このうち、輝度値６０１は、撮像装置が－θ、輝度値６０２は撮像装置がプラス方向に＋θだけ傾いた状態の輝度値をそれぞれ示している。図６に図示するように、撮像装置１００の傾きにより、例えば、撮像装置１００が所定の角度以上傾いた状態と傾いていない状態とで、同一の画素から得らえる輝度値が変化することがわかる。

図１に戻り、画像処理部１０５は、各偏光角度に対応する画像を用いた任意の合成処理や、ディベイヤー処理、ガンマ補正などの種々の処理を実行する画像処理手段である。具体的な合成処理の一例としては、偏光算出部１０４からの出力に基づいて、任意の偏光角度の画像データを選択して出力する。または、各偏光角度の画像データを加重平均して出力することで、画像データにおける反射の度合いを任意に調整した１フレーム分の画像データを生成できる。そして、画像処理部１０５は、合成処理を施した後に、前述したディベイヤー処理やガンマ補正、また、ニー補正、ノイズリダクションなどの所定の画像処理を施すことができる。なお、本実施形態では、信号出力部１０６に出力する画像データに施す種々の処理に関してはこれに限定されるものではなく、その他の処理を施すことが可能な構成であってもよい。

信号出力部１０６は、画像処理部１０５から入力された画像信号を不図示の記憶手段（外部の記憶媒体を含む）へ出力する、および、不図示の表示部へ表示用の画像データを出力する信号出力手段である。なお、信号出力部１０６は、信号を決まった処理をせずに画素データのまま外部へ出力することも可能である。

カメラ制御部１０７は、撮像装置１００の各部を統括的に制御する制御手段であって、不図示のマイクロプロセッサ（ＣＰＵ）を備え、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭを備えたメモリ１１０と接続されている。このうち、ＲＯＭは、不揮発性の記録素子であり、カメラ制御部１０７を動作させるためのプログラムや各種調整パラメータなどが記録されている。ＲＯＭから読み出されたプログラムは揮発性のＲＡＭに展開されて実行される。なお、本実施形態では、カメラ制御部１０７により、前述した各部の動作が制御される構成であるが、カメラ制御部１０７以外の各部が協調して各動作を制御する構成であってもよい。

カメラ制御部１０７が制御する処理としては、例えば、光学レンズ１０１が備える絞り（不図示）などの光量調節機構や、センサ１０２の露光時間（シャッタースピード）やアナログゲインなどを調整する露出制御がある。本実施形態では、傾きゲイン補正部１０８で補正された輝度値に基づき、画像が適切な明るさとなるように、被写体を撮像して画像を取得する際の露出を制御することができる。

傾き検出部１０９は、撮像装置１００の傾き状態を検出する検出手段であって、本実施形態では、ＸＹＺ軸の計３軸の回転量を検出可能な角速度センサ（ジャイロセンサ）を備えている。なお、角速度センサとしては、少なくとも、光軸中心の撮像装置１００の回転を検出可能なものであればよい。また、傾き検出部１０９の機能として、加速度センサの出力を検出できる構成であってもよい。前述したように、傾き検出部１０９の出力は、傾きゲイン補正部１０８へ供給され、センサ１０２から得られる各偏光角度に係る画像の輝度を補正するために用いられる。

（露出補正量決定処理）
次に、図７を参照して、本実施形態に係る露出補正量決定処理について説明する。図７は、本発明の第１実施形態に係る露出補正量決定処理を説明するフローチャートである。なお、当該露出補正量決定理は、撮像装置１００全体の動作において、垂直同期信号の周期毎に実行される処理である。

センサ１０２により画像を取得されたことに応じて、処理が開始されるとまず、ステップＳ７０１でカメラ制御部１０７は、偏光角度が異なる各画素から輝度値を算出する。そして、次に、ステップＳ７０２で偏光算出部１０４は、ステップＳ７０１で取得した輝度値に基づいて、偏光の角度依存成分に係る関数Ｉ（θ）を算出する。当該関数Ｉ（θ）の算出方法は前述した通りである。

なお、偏光の角度依存成分の算出は、撮像装置１００を用いた被写体の撮影開始および終了のトリガーキー操作に連動して実行する構成であってもよい。また、専用スイッチキーやタッチ操作が可能な表示手段（不図示）に表示したユーザーインターフェースをユーザーが操作することに連動して偏光の角度依存成分を算出する構成であってもよい。さらに、予め決められたメニュー設定に基づいて、撮像装置１００の電源投入に合わせて偏光の角度依存成分の算出を行う構成であってもよい。すなわち、本実施形態の撮像装置１００は、偏光の角度依存成分の算出は任意のタイミングで実行可能である。

次に、ステップＳ７０３で傾き検出部１０９は、撮像装置１００の光軸を中心とした傾き（回転角度）に関する情報を検出する。なお、撮像装置１００の傾きの検出方法としては、角速度センサの出力を積分し、角変位に変換することで撮像装置１００の光軸を中心した傾きを検出する。なお、前述したように、加速度センサを用いて撮像装置１００の移動量を検出する構成であってもよい。さらに、センサ１０２から得られた画像に基づく動きベクトルを算出し、当該動きベクトルに関する情報を用いて、撮像装置１００の光軸を中心した傾きを算出する構成であってもよい。すなわち、本実施形態に係る撮像装置１００の光軸を中心した傾きの算出方法は、公知の方法であれば、どのようなものを算出する構成であってもよい。

なお、撮像装置１００の光軸を中心した傾きは、基準角度（撮像装置１００の正位置を０°）に対する差分を実際の角度として求める構成であってもよいし、傾きの度合を示す情報を求める構成であってもよい。なお、撮像装置１００の基準角度は、撮像装置１００の正位置を基準位置とした場合の撮影画角の変化がない状態を示す。

次に、ステップＳ７０４で傾きゲイン補正部１０８は、ステップＳ７０３で算出した撮像装置１００の傾きに関する情報に基づいて、撮像装置１００の傾きが所定の偏光角度に対してプラス方向であるか否かを判断する。撮像装置１００の傾きと比較する所定の偏光角度としては、偏光角度０°、４５°、９０°、１３５°のうちのいずれかであればよく、本実施形態では所定の偏光角度を０°とする。換言すると、センサ１０２に設けられた偏光フィルタが備える偏光角度であれば、どのような偏光角度を比較対象としてもよい。そして、他の偏光角度については、いずれも偏光角度が４５°ごとに異なるだけなので、角度の変化は一様に決まる。

撮像装置１００の傾きが、所定の偏光角度に対してプラス方向である（ステップＳ７０４でＹＥＳ）と判定された場合はステップＳ７０５に進み、マイナス方向である（ステップＳ７０４でＮＯ）の場合はステップＳ７０６に進む。なお、所定の偏光角度に対して撮像装置１００の傾きが所定の範囲以内となり、撮像装置１００が基準角度に対してほぼ傾いていないと判断できる場合は、ゲインによる露出補正は必要ないと判定し、露出補正量決定処理を終了する。例えば、所定の範囲としては±１°を設定すればよい。

次に、ステップＳ７０５へ進んだ場合の処理を説明する。ステップＳ７０５に進む場合、ステップＳ７０１で得た偏光角度が異なる４つの偏光画素の輝度値が、ステップＳ７０２で算出した偏光の角度依存成分の関数Ｉ（θ）において、偏光角度のプラス方向に変化していると判断できる。そこで、ステップＳ７０５で傾きゲイン補正部１０８は、撮像装置１００の傾きがない状態の輝度値に戻すように補正ゲインを算出（ゲイン補正量を算出）する。

具体的に、ステップＳ７０５に進む場合は、図６に図示するように、撮像装置１００が傾いていない状態の輝度値４０１が輝度値６０２に変化したと判断できるため、輝度値が変化した比率に基づくマイナスゲインをセンサ１０２の出力に掛ける。この動作により、図６において、輝度値６０２は輝度値４０１に戻るような輝度値に相当するゲイン補正が施される。

次に、ステップＳ７０６へ進んだ場合の処理を説明する。ステップＳ７０６に進む場合、ステップＳ７０１で得た偏光角度が異なる４つの偏光画素の輝度値が、ステップＳ７０２で算出した偏光の角度依存成分の関数Ｉ（θ）において、偏光角度のマイナス方向に変化していると判断できる。そこで、ステップＳ７０６で傾きゲイン補正部１０８は、撮像装置１００の傾きがない状態の輝度値に戻すように補正ゲインを算出（ゲイン補正量を算出）する。

具体的に、ステップＳ７０６に進む場合は、図６に図示するように、撮像装置１００が傾いていない状態の輝度値４０１が輝度値６０１に変化したと判断できるため、輝度値が変化した比率に基づくプラススゲインをセンサ１０２の出力に掛ける。この動作により、図６において、輝度値６０１は輝度値４０１に戻るようなゲイン補正が施される。

ステップＳ７０５、ステップＳ７０６の処理が完了すると、ステップＳ７０７でカメラ制御部１０７は、先に算出したゲイン補正量に基づき、ゲイン補正による露出補正を実行し、露出補正量決定処理を終了する。なお、上述したマイナスゲイン調整およびプラスゲイン調整に係るゲイン補正は、センサ１０２からの出力時のアナログゲイン調整、または、画像処理部１０５において画像に施すデジタルゲイン調整の何れかであればよい。

以上説明した露出補正量決定処理は、ユーザーの指示や予め決められた撮影シーケンスに沿って、被写体の撮像が終了するまで毎フレーム繰り返される。なお、説明を簡単にするため、図６を参照して偏光角度０°に対する露出補正の方法を説明したが、本実施形態に係る撮像装置１００は、他の偏光角度および他の画素毎に同様の処理を行うことが可能である。

以上説明したように、本実施形態に係る撮像装置１００は、撮影姿勢の変化による撮像装置１００の光軸中心の回転による傾きが生じた場合であっても、偏光子（フィルタ）を介して得られた画像における不自然な輝度変化の発生を抑制できる。

（第２実施形態）
前述した第１実施形態では、センサ１０２の偏光フィルタ（偏光子）の各偏光角度とその輝度値から偏光の角度依存成分の関数Ｉ（θ）を算出し、撮像装置１００の傾きを検出してゲインによる露出補正を行う構成について説明した。これに対して、本実施形態では、偏光の角度依存成分の関数Ｉ（θ）の算出中に、撮像装置１００の姿勢変化が生じた場合の処理について説明する。具体的に、本実施形態では、偏光の角度依存成分の関数Ｉ（θ）を算出している間に、傾き検出部１０９の出力に基づき撮像装置１００のパンニングまたはチルティング（以下、まとめてパンニングと称す）で画角が変化したか否かを判定する。そして、画角の変化を検出した場合に、改めて偏光の角度依存成分の関数Ｉ（θ）を算出する。以下、この詳細を図８乃至９を参照して説明する。

なお、本実施形態に係る撮像装置１００の構成としては、前述した第１実施形態と略同一であるため、詳しい説明は省略する。前述した第１実施形態に対して、本実施形態の撮像装置１００は、傾き検出部１０９が、撮像装置１００の横方向および縦方向の移動量（傾き量）も検出可能であって、傾き検出部１０９の出力を撮像装置１００の所謂手ブレ補正に用いる点が異なる。なお、本実施形態の傾き検出部１０９は、加速度センサを備え、撮像装置１００の光軸に対する移動量を出力できるものとするが、前述したように、画像から得られる動きベクトルを解析する構成であってもよい。

仮に、撮像装置１００のパンニングによりユーザーが意図的に撮影画角を動かした場合であっても、各偏光角度の画素からの出力（輝度値）に変化が生じる。そこで、傾き検出部１０９の出力に基づいてカメラ制御部１０７では、撮像装置１００のパンニングの移行や終了に係る判定が可能であり、この判定結果を偏光算出部１０４に出力し、当該判定結果に基づく偏光の角度依存成分の関数Ｉ（θ）を算出する。

しかしながら、ユーザーが意図的に撮影画角を変化させる場合は、輝度値の変化が目立ちにくいため、前述した第１実施形態のように、ゲイン補正を毎フレーム施す必要性は低い。そこで、本実施形態では、撮像装置１００のパンニングが終了した状態で、改めて、センサ１０２の各偏光角度の輝度値の算出、および偏光算出部１０４での偏光の角度依存成分の関数Ｉ（θ）を算出し、撮像装置１００の傾きに対する露出補正を行う。

以下、図８に図示するフローチャートを用いて、本実施形態に係る露出補正量決定処理について説明する。図８は、本発明の第２実施形態に係る露出補正量決定処理のフローチャートである。なお、当該露出補正量決定理は、撮像装置１００全体の動作において、垂直同期信号の周期毎に実行される処理である。

ステップＳ８０１～Ｓ８０２の処理は、前述した第１実施形態のステップＳ７０１～Ｓ７０２の処理と同一なので、説明は省略する。ステップＳ８０３でカメラ制御部１０７、傾き検出部１０９の出力に基づいて、撮像装置１００がパンニング以外の画角変化が生じている状態か否かを判定する。具体的に、傾き検出部１０９の出力に基づいて、カメラ制御部１０７は、撮像装置１００の横方向または、縦方向の検出軸の角速度センサの出力を積分して角変位に変換された信号が、所定の閾値以上であるか否かを判定する。当該判定により、撮像装置がパンニング状態であるか否かを判定することができる。

撮像装置１００がパンニング以外の画角変化がない（ステップＳ８０３でＮＯ）と判定された場合、ステップＳ８０４の処理へと進む。そして、ステップＳ８０４で、カメラ制御部１０７は、傾き検出部１０９の出力に基づいて、撮像装置１００のパンニング状態が終了したか否かを判定する。

ここで、図９は、撮像装置１００のパンニング移行、およびパンニング終了の判定方法を例示的に説明するための図である。図９において、縦軸は角変位信号、横軸は時間変化（ｔ）を表している。図中の９０１は角変位信号出力、９０２および９０３は、撮像装置１００のパンニング状態へ移行する際の閾値（第１の閾値）、９０４および９０５は、撮像装置１００のパンニング状態の終了への閾値（第２の閾値）である。

本実施形態の撮像装置１００では、図９に図示するように、角変位信号９０１が、閾値９０２以上、または閾値９０３以下となる状態が所定の時間継続された場合、撮像装置１００の状態がパンニング状態に移行したものと判定する。また、撮像装置１００がパンニング状態に移行してから所定の時間が経過した後に、角変位信号９０１が閾値９０４以下、または閾値９０５以上へと変化した場合に、撮像装置１００のパンニング状態が終了したものと判定する。以上の判定を、ステップＳ８０４の処理で実行する。なお、判定閾値については、撮像装置１００において予め決められたものであるが、意図しない撮影時の撮像装置１００の手持ちブレをパンニングと間違って検出しないように、ユーザーが手動で閾値（又は、判定度合）を決定できる構成であってもよい。

撮像装置１００のパンニング状態が終了していない（ステップＳ８０４でＮＯ）と判定される場合は、ステップＳ８０４の処理を繰り返す。撮像装置１００のパンニング状態が終了している（ステップＳ８０４でＹＥＳ）と判定された場合、ステップＳ８０５～Ｓ８０６で、再び、センサ１０２の偏光角度が異なる各画素から輝度値、および、偏光の角度依存成分に係る関数Ｉ（θ）を算出する。なお、ステップＳ８０５～Ｓ８０６の処理は、前述したステップＳ８０１～Ｓ８０２の処理と同一である。

撮像装置１００がパンニング以外の画角変化がある（ステップＳ８０３でＹＥＳ）と判定された場合、および、ステップＳ８０６で新たに偏光の角度依存成分を算出した場合は、ステップＳ８０７の処理に進む。以降のステップＳ８０７～Ｓ８１１の処理は、前述した第１実施形態のステップＳ７０３～Ｓ７０７の処理と同一なので説明は省略する。

以上説明したように、本実施形態に係る撮影姿勢の変化による撮像装置１００の光軸中心の回転による傾きが生じた場合であっても、偏光子（フィルタ）を介して得られた画像における不自然な輝度変化の発生を抑制できる。特に、ユーザーにより撮影画角が意図的に変化するような撮像装置１００のパンニングやチィルテイング時は、撮影画角の変化が終了した状態で偏光の角度依存成分の関数Ｉ（θ）を改めて算出する構成とした。この構成により、ユーザーによる撮影画角の意図的な変化を加味しつつ、偏光子（フィルタ）を介して得られた画像における意図しない不自然な輝度変化が生じることを、より効果的に抑制することができる。

（第３実施形態）
前述第１、第２実施形態では、センサ１０２の偏光フィルタの各偏光角度とその輝度値から偏光の角度依存成分の関数Ｉ（θ）を毎フレーム算出して、これに基づいて露出補正を行う構成について説明した。これに対して、本実施形態では、偏光の角度依存成分の関数Ｉ（θ）の算出を毎フレーム行わずに、一度算出した関数Ｉ（θ）を撮像装置１００に設けられたメモリ１１０に格納する構成を採用する。そして、本実施形態の撮像装置１００は、被写体を撮像している際に傾き検出部１０９の出力が所定の角度以上と判断された場合に、偏光の角度依存成分の関数Ｉ（θ）を改めて算出する。以下、この詳細について図１０を参照して説明する。

図１０は、本発明の第３実施形態に係る露出補正量決定処理のフローチャートである。なお、当該露出補正量決定理は、撮像装置１００全体の動作において、垂直同期信号の周期毎に実行される処理である。

処理が開始されるとまず、ステップＳ１００１でカメラ制御部１０７は、過去に算出した偏光の角度依存成分の算出値がメモリ１１０に格納されているか否かを判定する。当該判定により、例えば、露出補正量決定処理における前回のルーチンで算出した偏光の角度依存成分の算出値が格納されている場合などは、新たに、偏光の角度依存成分を算出する必要がないため、毎フレームの処理負荷を軽減させることができる。なお、具体的に、ステップＳ１００１の処理としては、メモリ１１０に偏光の角度依存成分の算出値（関数Ｉ（θ）など）の格納に関するフラグのセット状態が０（クリア）か１（セット）であるか否かをカメラ制御部１０７が判定する。

偏光の角度依存成分の算出値が格納されている（ステップＳ１００１がＹＥＳ）と判定された場合はステップＳ１００２の処理に進む。偏光の角度依存成分の算出値が格納されていない（ステップＳ１００１がＮＯ）と判定された場合はステップＳ１００６の処理に進む。なお、ステップＳＳ１００２～Ｓ１００３の処理は、前述した第２実施形態のステップＳ８０１～Ｓ８０２の処理と同一なので、説明は省略する。

次に、ステップＳ１００４で偏光算出部１０４は、ステップＳ１００３で算出された偏光の角度依存成分に関する情報をメモリ１１０に格納する。そして、ステップＳ１００５でカメラ制御部１０７は、偏光の角度依存成分に関する情報がメモリ１１０に格納されたことを識別するためのフラグをセットする。以降のステップＳ１００６の判定は、前述した第２実施形態のステップＳ８０３と同一なので、説明は省略する。

撮像装置１００がパンニング以外の画角変化がある（ステップＳ１００６でＹＥＳ）と判定された場合、および、ステップＳ８０６で新たに偏光の角度依存成分を算出した場合は、ステップＳ１０１２の処理に進む。撮像装置１００がパンニング以外の画角変化がない（ステップＳ１００６でＮＯ）と判定された場合、ステップＳ１００７の処理へと進む。以降のステップＳ１００７～Ｓ１００９の処理は、前述した第２実施形態のステップＳ８０４～Ｓ８０６の処理と同一なので、説明は省略する。また、ステップＳ１０１０～Ｓ１０１１の処理は、前述したステップＳ１００４～Ｓ１００５と同一なので、説明は省略する。さらに、ステップＳ１０１２の処理は、前述した第２実施形態のステップＳ８０７と同一なので、説明は省略する。

次に、ステップＳ１０１３で偏光算出部１０４は、撮像装置１００の傾きが所定の角度以下であるか否かを判定する。なお、当該所定の角度は、前述の第１、第２実施形態における、ゲイン補正を行わない所定の範囲（±１°）とは異なり、撮像装置１００の傾きが大きい場合に、改めて偏光の角度依存成分に関する情報を算出するための判断に用いる角度である。

当該所定の角度は、撮像装置１００の傾きと輝度の変化の影響度を鑑みて、閾値を決めればよく、どのような値であってもよい。撮像装置１００の傾きが所定の角度以下ではない（ステップＳ１０１３でＮＯ）と判定された場合は、ステップＳ１０１４に進む。また、撮像装置１００の傾きが所定の角度以下ではある（ステップＳ１０１３でＹＥＳ）と判定された場合は、ステップＳ１０１８に進む。

ステップＳ１０１４～Ｓ１０１６の処理は、前述したステップＳ１００２～Ｓ１００４と同一なので、説明は省略する。次に、ステップＳ１０１７でカメラ制御部１０７は、偏光の角度依存成分に関する情報がメモリ１１０に格納されたことを識別するためのフラグをクリアする。これは、ユーザーの撮影姿勢の変化により撮像装置１００の傾きが所定の角度以上となる状態で維持されたまま撮影が行われる頻度が少ないことを考慮した処理である。この場合、撮像装置１００の傾きの検出がエラーである、あるいはユーザーが意図的に撮像装置１００を大きく傾けている可能性があり、この状態でゲイン補正を行うことで、不自然な画像が得られる虞がある。そこで、本実施形態では、ステップＳ１０１７で識別フラグをリセットし、次のルーチンにおいて、改めて偏光角度ごとの輝度値と角度依存成分の算出を実行することで、不自然な画像が得られることを低減できる。

以降のステップＳ１０１８～Ｓ１０２１の処理は、前述した第２実施形態のステップＳ８０８～Ｓ８１１の処理と略同一であるので詳細な説明は省略する。なお、本実施形態では、ステップＳ１０１９およびＳ１０２０におけるゲイン補正量の算出に際して、メモリ１１０に格納された最新の偏光の角度依存成分の関数Ｉ（θ）に基づいて実行する点が異なる。

以上説明したように、本実施形態に係る撮像装置１００は、撮影姿勢の変化による撮像装置１００の光軸中心の回転による傾きが生じた場合であっても、偏光子（フィルタ）を介して得られた画像における不自然な輝度変化の発生を抑制できる。さらに、輝度変化の発生を抑制するための露出補正値の算出に用いる、偏光の角度依存成分の算出頻度を低減することができるため、撮像装置１００の処理負荷を効果的に低減することができる。

なお、前述した実施形態では、メモリ１１０に偏光の角度依存成分に関する情報（算出値）が格納されている場合は、所定の条件を満たすまで、新たに角度依存成分を算出しない構成であるが、これに限定されるものではない。例えば、時間経過に対する情報の変化を考慮し、所定数フレーム毎に角度依存成分に関する情報を更新する構成であってもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、前述した実施形態では、光学レンズを一体的に備えた撮像装置について説明したが、所謂交換レンズを着脱可能なレンズ交換式の撮像装置を採用する構成であってもよい。

また、前述した実施形態では、センサ１０２を構成する画素および画素群ごとに偏光角度が異なる偏光フィルタを採用する例について説明したが、これに限定されるものではない。例えば、前述した実施形態におけるセンサ１０２を構成する１画素に対して複数の異なる偏光角度が該当するように偏光フィルタを設ける構成であってもよい。この場合、１つの画素信号において異なる偏光角度を介して偏光できるため、画素単位で複数の振動方向の光以外を除去した画像データを得ることができる。

なお、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、車載カメラやセキュリティーカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。

１００ 撮像装置
１０２ センサ
１０４ 偏光算出部
１０７ カメラ制御部
１０８ 傾きゲイン補正部
１０９ 傾き検出部

Claims (6)

1. 異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、
   前記撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を取得する取得手段と、
   基準位置に対する撮影画角の変化を検出する検出手段と、
   画像データに対する補正量として、前記被写体の偏光情報と前記検出手段による検出の結果に基づくゲイン補正量を算出する算出手段とを有する撮像装置であって、
   前記取得手段は、前記被写体の偏光情報として、前記偏光フィルタの異なる複数の偏光角度ごとの光の強度を示す角度依存成分を取得し、
   前記算出手段は、前記検出手段による検出の結果に基づいて、前記角度依存成分における前記基準位置に対する撮影画角の変化分の輝度値に相当するゲイン補正量を前記画像データに対する補正量として算出し、
   前記検出手段は、基準位置に対する撮影画角の変化として、加速度センサの出力に基づいて、前記撮像装置の移動量に関する情報を検出可能であり、
   前記取得手段は、前記撮像装置を用いた被写体の撮影開始のトリガーに連動して、もしくは、前記撮像装置の電源投入に合わせて、前記角度依存成分を取得し、前記撮像装置がパンニング状態に移行した際には前記撮像装置の移動量に関する情報の検出が終了した後に、前記角度依存成分を取得することを特徴とする撮像装置。
2. 前記角度依存成分は、前記偏光フィルタの異なる複数の偏光角度ごとの光の強度を予め決められた所定の周期変化にフィッティングした関数であって、
   前記算出手段は、前記関数における前記基準位置に該当する偏光角度が示す輝度値に対して、前記検出手段による検出の結果に基づく撮影画角の変化分の輝度値に相当するゲイン補正量を前記画像データに対する補正量として算出することを特徴とする請求項１に記載の撮像装置。
3. 前記検出手段は、基準位置に対する撮影画角の変化として、角速度センサの出力に基づく撮像装置の光軸中心の回転量に関する情報を検出可能であることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記検出手段は、基準位置に対する撮影画角の変化として、画像に基づく被写体の動きベクトルを求めることで、撮像装置の光軸中心の回転量に関する情報および移動量に関する情報の少なくとも１つを検出可能であることを特徴とする請求項１又は２に記載の撮像装置。
5. 撮像装置に備えられた撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を取得する取得工程と、
   基準位置に対する撮影画角の変化を検出する検出工程と、
   画像データに対する補正量として、前記被写体の偏光情報と前記検出工程での検出の結果に基づくゲイン補正量を算出する算出工程とを有し、
   前記取得工程では、前記被写体の偏光情報として、前記異なる複数の偏光角度ごとの光の強度を示す角度依存成分を取得し、
   前記算出工程では、前記検出工程による検出の結果に基づいて、前記角度依存成分における前記基準位置に対する撮影画角の変化分の輝度値に相当するゲイン補正量を前記画像データに対する補正量として算出し、
   前記検出工程では、基準位置に対する撮影画角の変化として、加速度センサの出力に基づいて、前記撮像装置の移動量に関する情報を検出可能であり、
   前記取得工程では、前記撮像装置を用いた被写体の撮影開始のトリガーに連動して、もしくは、前記撮像装置の電源投入に合わせて、前記角度依存成分の取得が行われるのであって、前記撮像装置がパンニング状態に移行した際には前記撮像装置の移動量に関する情報の検出が終了した後に、前記角度依存成分の取得が行われることを特徴とする制御方法。
6. 請求項５に記載の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。

Images