JP6680377B2 - 撮像装置、撮像方法及びプログラム - Google Patents

Description

本技術は、撮像素子により撮像を行う撮像装置などの技術に関する。

従来から、静止画及び動画を撮像可能な撮像装置が広く知られている（例えば、下記特許文献１参照）。

特許文献１に記載の撮像装置では、撮像素子において取得されたアナログ画像データがアナログ信号処理部へ出力される。アナログ信号処理部へ出力されたアナログ画像データは、アナログ信号処理（増幅等）が施された後、Ａ／Ｄ変換部へ出力されてデジタル画像データへ変換される。このデジタル画像データは、デジタル信号処理部へ出力されて、デジタル信号処理部において、ノイズ除去処理、ホワイトバランス処理、色補正処理、エッジ強調処理、ガンマ補正処理等が施される。そして、これらの処理が施されたデジタル画像データがデジタル信号処理部から出力され、この画像データが液晶パネル上に表示され、また、記録デバイスに記憶される。

撮像素子から出力された画像データを適切な露光量の画像データとしてデジタル信号処理部から出力させるために、デジタル信号処理部内において露光量を調整するといった方法が用いられる場合がある。しかしながら、Ａ／Ｄ変換部によるＡ／Ｄ変換の時点で明るすぎるような画像データは、その一部の諧調がＡ／Ｄ変換時に損なわれてしまう場合がある。このため、Ａ／Ｄ変換の時点で損なわれてしまった部分については、デジタル信号処理部において復元することができないといった問題がある。

このため、一般的には、電子シャッターを調整する（撮像素子における露光時間を調整する）方法や、絞りの開度を調整する方法などが用いられる。

特開２０１２−１０４９９４号公報（段落［００３８］、［００５５］図３参照）

しかしながら、電子シャッターを調整する方法では、動解像度が乱れてしまい画像データの画質が劣化しまうといった問題がある。また、絞りの開度を調整する方法では、絞りボケが発生してしまったり、被写体深度が変動してしまったりするといった問題がある。このように、画質劣化などの観点から、従来においては、撮像素子から出力された画像データを適切な露光量の画像データとして出力することができないといった問題がある。

以上のような事情に鑑み、本技術の目的は、撮像素子から出力された画像データを適切な露光量の画像データとして出力することができる撮像装置などの技術を提供することにある。

本技術に係る撮像装置は、透過率調整部と、撮像素子と、制御部とを具備する。
前記透過率調整部は、印加電圧に応じて光の透過率を調整可能とされる。
前記撮像素子は、前記透過率調整部を透過した光を露光することにより撮像を行う。
前記制御部は、前記透過率調整部の透過率を第１の透過率に設定して前記撮像素子に撮像を行わせることによって第１の画像データを取得し、前記第１の画像データに基づいて、前記撮像素子において適切な露光量で撮像を行わせるため第２の透過率を算出し、前記透過率調整部の透過率を前記第２の透過率に設定して前記撮像素子に撮像を行わせることによって第２の画像データを取得し、取得された前記第２の画像データを出力する。

本技術に係る撮像装置では、透過率調整部の透過率が第１の透過率に設定されて撮像素子により撮像が行われ、第１の画像データが取得される。この第１の画像データは、撮像素子において適切な露光量で撮像を行わせるため第２の透過率を算出することに用いられる。この第１の画像データは、第２の透過率を算出することに用いられるデータであるため、このデータは、制御部からは出力されない。

第２の透過率が算出されると、透過率調整部の透過率が第２の透過率（適切な透過率）に設定されて撮像素子により撮像が行われ、第２の画像データが取得される。そして、この第２の画像データが制御部から出力される。このようにして、第２の画像データを制御部から出力することによって、撮像素子から出力された画像データを適切な露光量の画像データとして出力することができる。制御部から出力された第２の画像データは、例えば、表示用のデータや、記録用のデータとして用いられる。

上記撮像装置において、前記制御部は、前記透過率調整部の透過率を前記第２の透過率に設定して前記撮像部に撮像を行わせることによって前記第２の画像データ及び第３の画像データを取得し、前記第２の画像データ及び前記第３の画像データを加算し、加算された画像データを出力してもよい。

この撮像装置では、透過率調整部の透過率が第２の透過率（適切な透過率）に設定されている状態で２枚の画像データが取得される。そして、これらの２枚の画像が加算されて、ハイダイナミックレンジ（ＨＤＲ：high Dynamic Range）画像データとして出力される。これにより、例えば、高輝度信号の諧調を保持したハイダイナミックレンジ画像データを出力することができる。

上記撮像装置において、前記制御部は、前記第１の透過率を可変に制御してもよい。

このように、第１の透過率を可変に制御することで、第１の透過率を適切に調整することができる。

上記撮像装置において、前記撮像素子は、複数の画素を有していてもよい。
この場合、前記制御部は、前記第１の画像データに基づいて前記第２の透過率を算出するとき、第１の画像データにおける全画素数に対する、飽和信号量に達している画素数の比率を判定し、前記比率に基づいて、第２の透過率を算出してもよい。

上記撮像装置において、前記制御部は、前記第１の画像データを取得し、前記第２の透過率を算出し、前記第２の画像データを取得し、前記第２の画像データを出力する一連の処理を繰り返して実行してもよい。

このような一連の処理を繰り返すことによって、撮像素子から出力された画像データを適切な露光量の画像データとして、常時、出力することができる。

上記撮像装置において、前記制御部は、前記第１の画像データを取得し、前記第２の透過率を算出し、前記第２の画像データ及び前記第３の画像データを取得し、前記第２の画像データ及び第３の画像データを加算し、加算された画像データを出力する一連の処理を繰り返して実行してもよい。

このような一連の処理を繰り返すことによって、例えば、高輝度信号の諧調を保持したハイダイナミックレンジ画像を、常時、出力することができる。

上記撮像装置において、前記透過率調整部は、液晶ＮＤフィルタ（ＮＤ：Neutral Density）であってもよい。

透過率調整部として液晶ＮＤフィルタを用いることによって、第１の透過率と、第２の透過率との間で、高速に透過率を切替えることができる。

本技術に係る画像データの出力方法は、印加電圧に応じて光の透過率を調整可能な透過率調整部の透過率を第１の透過率に設定して、前記透過率調整部を透過した光を露光する撮像素子に撮像を行わせることによって第１の画像データを取得することを含む。
前記第１の画像データに基づいて、前記撮像素子において適切な露光量で撮像を行わせるため第２の透過率が算出される。
前記透過率調整部の透過率が前記第２の透過率に設定されて前記撮像素子に撮像を行わせることによって第２の画像データが取得される。
取得された前記第２の画像データが出力される。

本技術に係るプログラムは、撮像装置に、
印加電圧に応じて光の透過率を調整可能な透過率調整部の透過率を第１の透過率に設定して、前記透過率調整部を透過した光を露光する撮像素子に撮像を行わせることによって第１の画像データを取得するステップと、
前記第１の画像データに基づいて、前記撮像素子において適切な露光量で撮像を行わせるため第２の透過率を算出するステップと、
前記透過率調整部の透過率を前記第２の透過率に設定して前記撮像素子に撮像を行わせることによって第２の画像データを取得するステップと
取得された前記第２の画像データを出力するステップと
を実行させる。

以上のように、本技術によれば、撮像素子から出力された画像データを適切な露光量の画像データとして出力することができる撮像装置などの技術を提供することができる。

本技術の第１実施形態に係る撮像装置を示すブロック図である。 本技術の第１実施形態に係る撮像装置の処理を示すフローチャートである。 １フレーム目の画像データにおける検波結果の一例を示す図である。 デジタル信号処理部に入力される２フレーム目の画像データの一例を示す図である。 本技術の第２実施形態に係る撮像装置の処理を示すフローチャートである。 ２フレーム目の画像データと、３フレーム目の画像データとが加算されるときの様子を示す図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１実施形態＞
［撮像装置１の全体構成及び各部の構成］
図１は、本技術の第１実施形態に係る撮像装置１を示すブロック図である。図１に示す撮像装置１は、静止画及び動画を撮像可能なデジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ）である。また、この撮像装置１は、記録された画像データを再生可能とされている。

図１に示すように、撮像装置１は、レンズ系１０と、絞り１１と、液晶ＮＤフィルタ１２（ＮＤ：Neutral Density）（透過率調整部）と、撮像素子１３と、制御部１４と、画像表示部１５と、画像保存部１６と、操作部１７と、記憶部１８とを備えている。制御部１４は、システムコントローラ１９と、レンズドライバ２０と、液晶ＮＤドライバ２１と、タイミングジェネレータ２２（ＴＧ）と、アナログ信号処理部２３と、Ａ／Ｄ変換部２４と、デジタル信号処理部２５とを含む。

レンズ系１０は、ズームレンズ、フォーカスレンズ等の各種のレンズを含み、これらのレンズによって、被写体光を撮像素子１３の露光面に結像させる。絞り１１は、その開度を調整することにより機械的に被写体光の光量を調整することが可能に構成されている。図１に示す例では、絞り１１は、レンズ系１０の後方に配置されているが、絞り１１は、レンズ系１０の内部における光路内（例えば、ズームレンズとフォーカスレンズとの間）に配置されていてもよい。

レンズドライバ２０は、システムコントローラ１９からの指示に応じて、ズームレンズ、フォーカスレンズ及び絞り１１の位置を制御したり、絞り１１の開度を制御したりする。

液晶ＮＤフィルタ１２は、印加される電圧に応じて、光の透過率を調整（濃度を調整）することが可能に構成されており、印加される電圧に応じて透過率が調整されることによって、撮像素子１３に入射される被写体光の光量を調整する。

液晶ＮＤドライバ２１は、システムコントローラ１９からの指示に応じて、液晶ＮＤフィルタ１２に印加される電圧を制御することによって液晶ＮＤフィルタ１２の透過率（濃度）を制御する。

撮像素子１３は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサや、ＣＣＤ（Charge Coupled Device）センサなどにより構成されている。撮像素子１３は、液晶ＮＤフィルタ１２を透過して入射された被写体光を露光することによって撮像を行う。具体的には、撮像素子１３は、複数の画素（Ｒ画素、Ｇ画素、Ｂ画素）を有しており、露光面に入射された被写体光を画素毎に光電変換により電子信号に変換し、得られた３原色信号（Ｒ、Ｇ、Ｂ）をアナログ画像データとしてアナログ信号処理部２３へ出力する。

タイミングジェネレータ２２（ＴＧ：Timing Generator）は、システムコントローラ１９からの指示に応じて撮像素子１３の駆動に必要な駆動パルスを生成して撮像素子１３に供給する。このタイミングジェネレータ２２によって撮像素子１３が駆動されることで被写体像が撮像され（電子シャッター）、被写体像の画像が取得される。また、タイミングジェネレータ２２によって撮像素子１３のシャッタースピードが調整されることによって画像撮像時の露光時間が制御される。

アナログ信号処理部２３は、撮像素子１３から出力された画像信号に対して、ＣＤＳ処理（ＣＤＳ：Correlated Double Sampling）や、ゲイン処理などを実行する。

Ａ／Ｄ変換部２４は、アナログ信号処理部２３から出力されたアナログ画像データをデジタル画像データに変換して、デジタル信号処理部２５へ出力する。

デジタル信号処理部２５は、Ａ／Ｄ変換部２４から出力されたデジタル画像データに対して、ノイズ除去処理、ホワイトバランス調整処理、色補正処理、エッジ強調処理、ガンマ補正処理などの各種のデジタル信号処理を実行し、画像表示部１５、画像保存部１６に出力する。また、デジタル信号処理部２５は、後述のハイフレームレートモードにおいては、Ａ／Ｄ変換部２４から出力された、１フレーム目のデジタル画像データ（第１の画像データ）を検波してシステムコントローラ１９に出力する。

画像表示部１５は、液晶ディスプレイや、有機ＥＬ（ＥＬ：Electro luminescence）ディスプレイなどにより構成される。画像表示部１５は、その画面上に各種の画像を表示させる。例えば、画像表示部１５は、デジタル信号処理部２５から出力された画像データをリアルタイムで表示することによって、その画面上にスルー画像を表示する。また、画像表示部１５は、画像保存部１６に記録された画像を再生する処理を実行する。上記スルー画像は、静止画や、動画を撮像するときにユーザが画角を合わせることができるようにするために画面上に表示される。

画像保存部１６は、デジタル信号処理部２５から出力された画像データや、その画像データに関連するメタデータ（例えば、その画像データが取得された日時等）を記憶する。画像保存部１６は、例えば、半導体メモリ、光ディスク、ＨＤ（hard Disc）などにより構成される。画像保存部１６は、撮像装置１の内部に固定されていてもよいし、撮像装置１に対して着脱可能に構成されていてもよい。

システムコントローラ１９は、例えば、ＣＰＵ（Central Processing Unit）などにより構成されており、撮像装置１の各部を統括的に制御する。このシステムコントローラ１９の具体的な処理については、動作説明の欄において後に詳述する。

ここで、本実施形態においては、静止画を撮像する静止画撮像モードと、動画を撮像する動画撮像モード（録画モード）と、画像保存部１６に記録された画像を再生する再生モードとが用意されている。さらに、本実施形態においては、静止画撮像モード及び動画撮像モードにおいて、それぞれノーマルモード及びハイフレームレートモード（ＨＦＲ：high Frame rate）の２つのモードが用意されている。

ノーマルモードは、通常のフレームレート（例えば、３０ｆｐｓ）で撮像を行うモードである。一方、ハイフレームレートモードは、通常のフレームレートの倍のフレームレート（例えば、６０ｆｐｓ）で撮像を行い、１フレーム目の画像データ（第１の画像データ）を、２フレーム目の画像データ（第２の画像データ）を撮像するときの撮像素子１３の露光量を推定するため（液晶ＮＤフィルタ１２の透過率を算出するため）の画像として用いるモードである。

記憶部１８は、各種のプログラムや、各種のデータが固定的に記憶される不揮発性のメモリ（例えば、ＲＯＭ（Read Only memory））と、システムコントローラ１９の作業領域として用いられる揮発性のメモリ（例えば、ＲＡＭ（Random Access Memory））とを含む。上記プログラムは、光ディスク、半導体メモリ等の可搬性の記録媒体から読み取られてもよし、ネットワーク上のサーバ装置からダウンロードされてもよい。

不揮発性のメモリには、上記各種のデータとして、透過率対電圧テーブルと、飽和画素素比対露光量テーブルと、露光量対透過率テーブルとが記憶されている。

透過率対電圧テーブルは、液晶ＮＤフィルタ１２の透過率と、印加電圧との関係が示されたテーブルである。システムコントローラ１９は、液晶ＮＤフィルタ１２の透過率を制御するとき、この透過率対電圧テーブルを参照して、目的の透過率に対応する印加電圧を読み出し、読み出した印加電圧を印加するように、液晶ＮＤドライバ２１に指示を出す。

飽和画素比対露光量テーブルは、ハイフレームレートモードにおいて用いられるテーブルである。飽和画素比対露光量テーブルにおいては、１フレーム目の画像データにおける全画素数に対する飽和画素数の比率と、２フレーム目の画像データを撮像するときの撮像素子１３の露光量との関係が示されている。具体的には、飽和画素比対露光量テーブルにおいては、全画素数に対する飽和画素数の比率が大きくなるほど、撮像素子１３の露光量が少なくなるように両者の関係が関連付けられている。

システムコントローラ１９は、ハイフレームレートモードにおいて、１フレーム目の画像データに基づいて、２フレーム目の画像データの取得時における撮像素子１３の露光量を推定するとき、この飽和画素比対露光量テーブルを参照して撮像素子１３の露光量を推定する。

露光量対透過率テーブルは、飽和画素比対露光量テーブルと同様に、ハイフレームレートモードにおいて用いられるテーブルである。露光量対透過率テーブルにおいては、推定された露光量と、第２の画像データ取得時における液晶ＮＤフィルタ１２の透過率である第２の透過率との関係が示されている。具体的には、露光量対透過率テーブルにおいては、推定された露光量が多くなるほど、第２の透過率が大きくなるように、両者の関係が関連付けられている。

システムコントローラ１９は、推定された撮像素子１３の露光量に基づいて、第２の透過率を算出するとき、この露光量対透過率テーブルを参照して第２の透過率を算出する。

操作部１７は、例えば、電源スイッチ、シャッターボタン、録画ボタン、設定ボタン、モード切替えボタンなどを含む。電源スイッチは、撮像装置１の電源のＯＮ／ＯＦＦを切替えるための操作部１７である。また、シャッターボタンは、静止画撮像モードにおいて、画像データを静止画データとして記録するための操作部１７であり、録画ボタンは、動画撮像モードにおいて、画像データを動画データとして記録するための操作部１７である。

設定ボタンは、例えば、ズームレンズ、フォーカスレンズ、絞り１１の位置を調整したり、絞り１１の開度を調整したりするために用いられる。また、この設定ボタンは、電子シャッターを調整したり、アナログ信号処理部２３のゲイン処理におけるゲイン値を変更したり、デジタル信号処理部２５による各種の処理の設定値を変更したりするために用いられる。モード切替えボタンは、ノーマルモードと、ハイフレームレートモードとを切替えるための操作部１７である。

操作部１７は、機械的な押しボタン形式の操作部１７によって実現されていてもよいし、画像表示部１５上に設けられた静電容量方式、抵抗膜方式等のタッチセンサによって実現されてもよい。

［動作説明］
次に、第１実施形態に係る撮像装置１による処理について具体的に説明する。図２は、第１実施形態に係る撮像装置１の処理を示すフローチャートである。

まず、システムコントローラ１９は、現在のモードがハイフレームレートモードであるかどうかを判定する（ステップ１０１）。なお、ノーマルモードと、ハイフレームレートモードとの切替えは、モード切替えボタンによって切替えることができる。

現在のモードがハイフレームレートモードではない場合（ステップ１０１のＮＯ）、つまり、現在のモードがノーマルモードである場合、システムコントローラ１９は、撮像レートを通常のフレームレート（例えば、３０ｆｐｓ）に設定する（ステップ１０２）。

そして、システムコントローラ１９は、撮像素子１３に通常のフレームレートで撮像を行わせるように、タイミングジェネレータ２２に指示を出す。

一方、現在のモードがハイフレームレートモードである場合（ステップ１０１のＹＥＳ）、システムコントローラ１９は、撮像レートを通常のフレームレートの倍のフレームレート（ハイフレームレート：例えば、６０ｆｐｓ）に設定する（ステップ１０３）。そして、システムコントローラ１９は、撮像素子１３に通常のフレームレートの倍のフレームレートで撮像を行わせるように、タイミングジェネレータ２２に指示を出す。

次に、システムコントローラ１９は、ハイフレームレート撮像における１フレーム目の撮像タイミングにおいて、液晶ＮＤフィルタ１２の透過率を第１の透過率に設定するように、液晶ＮＤドライバ２１に指示を出す（ステップ１０４）。

具体的には、システムコントローラ１９は、記憶部１８に記憶された透過率対電圧テーブルを参照して、第１の透過率に対応する印加電圧を読み出し、読み出した印加電圧を印加するように、液晶ＮＤドライバ２１に指示を出す。本実施形態においては、第１の透過率は予め設定されている一定の値とされている。なお、システムコントローラ１９は、テーブルを参照する代わりに、プログラムに従ってリアルタイムに電圧を算出してもよい。

液晶ＮＤフィルタ１２の透過率が第１の透過率に設定されると、第１の透過率に設定された液晶ＮＤフィルタ１２を透過した被写体像が撮像素子１３の露光面に結合され、撮像素子１３により１フレーム目の画像が撮像される（ステップ１０５）。この１フレーム目の画像データ（第１の画像データ）は、アナログ信号処理部２３によって、ＣＤＳ処理やゲイン処理が施された後、Ａ／Ｄ変換部２４によってデジタル信号へ変換される。

デジタル信号処理部２５は、デジタル信号に変換された１フレーム目の画像データを検波して、検波結果をシステムコントローラ１９に出力する。

なお、１フレーム目の画像データは、表示用及び／または記録用に用いられるデータではないので、この１フレーム目の画像データは、画像表示部１５、画像保存部１６に対しては出力されない。

次に、システムコントローラ１９は、１フレーム目の画像データの検波結果に基づいて、２フレーム目の画像を撮像するときの撮像素子１３における露光量をどの程度の露光量にすれば適切な露光量となるかを推定する（ステップ１０６）。

図３は、１フレーム目の画像データにおける検波結果の一例を示す図である。図３では、横軸が各画素の位置を示しており、縦軸がデジタル信号処理部２５への入力信号量を示している。

図３に示す例では、撮像素子１３の露光量が多すぎて、一部の画素における入力信号量が飽和信号量に達してしまっており、飽和信号量に達した部分について諧調が損なわれてしまっている場合の一例が示されている。なお、このように諧調が損なわれてしまった部分については、デジタル信号処理部２５において復元することができない。

ステップ１０６における適切な露光量の推定においては、まず、システムコントローラ１９は、１フレーム目の画像データの検波結果に基づいて、飽和信号量に達している画素数を判定する。次に、システムコントローラ１９は、全画素数に対する、飽和信号量に達している画素数の比率を算出する。そして、この比率に基づいて、２フレーム目の画像を撮像するときの露光量を推定する。典型的には、システムコントローラ１９は、１フレーム目において上記比率が高いほど、２フレーム目において少ない露光量で撮像を行うべきであると推定する。

この推定においては、システムコントローラ１９は、記録部に記憶された飽和画素比対露光量テーブルを参照して、飽和画素比に対応する露光量を読み出すことによって、２フレーム目の画像を撮像するときの適切な露光量がどの程度の露光量であるかを推定する。なお、露光量の推定においては、システムコントローラ１９は、テーブルを参照する代わりに、プログラムに従ってリアルタイムに露光量を算出してもよい。

２フレーム目の画像を撮像するときの適切な露光量がどの程度の露光量であるかを推定すると、次に、システムコントローラ１９は、推定された露光量に基づいて、２フレーム目の画像を撮像するときの液晶ＮＤフィルタ１２の透過率である第２の透過率を算出する（ステップ１０７）。

具体的には、システムコントローラ１９は、露光量対透過率テーブルを参照して、推定された露光量に対応する第２の透過率を読み出すことによって、第２の透過率を算出する。なお、システムコントローラ１９は、テーブルを参照する代わりに、プログラムに従ってリアルタイムに第２の透過率を算出してもよい。

第２の透過率を算出すると、次に、システムコントローラ１９は、ハイフレームレート撮像における２フレーム目の撮像タイミングにおいて、液晶ＮＤフィルタ１２の透過率を第２の透過率に設定するように、液晶ＮＤドライバ２１に指示を出す（ステップ１０８）。

具体的には、システムコントローラ１９は、記憶部１８に記憶された透過率対電圧テーブルを参照して、第２の透過率に対応する印加電圧を読み出し、読み出した印加電圧を印加するように、液晶ＮＤドライバ２１に指示を出す。

なお、本実施形態では、ハイフレームレート撮像において、撮像が行われてから次の撮像を行うまでの期間内（例えば、１６．７ｍｓ）に、液晶ＮＤフィルタ１２の透過率を１の透過率から第２の透過率へと変化させる必要がある。このような短期間での透過率の変化は、高速な応答性を有する液晶ＮＤフィルタ１２を用いることによって実現することができる。

液晶ＮＤフィルタ１２の透過率が第２の透過率に設定されると、第２の透過率に設定された液晶ＮＤフィルタ１２を透過した被写体像が撮像素子１３の露光面に結合され、撮像素子１３により２フレーム目の画像が撮像される（ステップ１０９）。

２フレーム目の画像データ（第２の画像データ）は、アナログ信号処理部２３によって、ＣＤＳ処理やゲイン処理が施された後、Ａ／Ｄ変換部２４によってデジタル信号に変換される。デジタル信号処理部２５は、デジタル信号に変換された２フレーム目の画像データを取得する。

図４は、デジタル信号処理部２５に入力される２フレーム目の画像データの一例を示す図である。図４では、図３と同様に、横軸が各画素の位置を示しており、縦軸がデジタル信号処理部２５への入力信号量を示している。

また、図４では、液晶ＮＤフィルタ１２の透過率が第１の透過率である場合の波形が破線で示されており、液晶ＮＤフィルタ１２の透過率が第２の透過率である場合の波形が実線で示されている。

ここで、本実施形態では、２フレーム目の画像を撮像するときに、液晶ＮＤフィルタ１２の透過率が適切な透過率（第２の透過率）に設定されており、撮像素子１３の露光量が適切な露光量に設定されている。従って、撮像素子１３から出力される各画素の信号が飽和信号量に達してしまうことを防止することができる。

従って、図４の実線で示すように、デジタル信号処理部２５へ入力される入力信号量が飽和信号量に達してしまうことを防止することができる。このため、本実施形態では、撮像素子１３のダイナミックレンジを最大限に生かした画像データを出力することができる。

デジタル信号処理部２５は、デジタル信号に変換された２フレーム目の画像データを取得すると、ノイズ除去処理、ホワイトバランス調整処理、色補正処理、エッジ強調処理、ガンマ補正処理などの各種のデジタル信号処理を実行する。そして、デジタル信号出力部は、デジタル信号処理が施された２フレーム目の画像データを出力する（ステップ１１０）。

なお、本実施形態では、１フレーム目の画像データは出力されず２フレーム目の画像データのみが出力されるため、デジタル信号処理部２５から出力される画像データの出力レート（例えば、３０ｆｐｓ）は、撮像素子１３による撮像レート（例えば、６０ｆｐｓ）の半分になる。この点で、ステップ１０３においては、システムコントローラ１９は、画像データを出力する出力レートの倍のレートに撮像レートを設定する処理を実行している。

デジタル信号処理部２５は、２フレーム目の画像データを出力するとき、現在のモードが静止画撮像モードであるか、動画撮像モードであるかに応じて異なる処理を実行する。

すなわち、現在のモードが静止画撮像モードである場合、デジタル信号処理部２５は、画像表示部１５に２フレーム目の画像データを出力して画像表示部１５の画面上にスルー画像を表示させる。そして、デジタル信号処理部２５は、シャッターボタンが操作されたタイミングに合わせて画像保存部１６に２フレーム目の画像データを出力して静止画として保存させる。

現在のモードが動画撮像モードである場合、デジタル信号処理部２５は、モードが静止画撮像モードである場合と同様に、画像表示部１５に２フレーム目の画像データを出力して画像表示部１５の画面上にスルー画像を表示させる。一方、デジタル画像処理部は、モードが静止画撮像モードである場合とは異なり、画像保存部１６に対して、２フレーム目の画像データを必ず出力する。この２フレーム目の画像は、動画の一部を構成する画像として画像保存部１６に保存される。

デジタル信号出力部から２フレーム目の画像データが出力されると、システムコントローラ１９は、再びステップ１０１へもどり、現在のモードがハイフレームレートモードであるか否かを判定する。

そして、現在のモードがハイフレームレートモードであれば（ステップ１０１のＹＥＳ）、ステップ１０３からステップ１１０までの一連の処理が繰り返して実行される。

なお、２周目以降のステップ１０４では、所定の期間内（例えば、１６．７ｍｓ）に、液晶ＮＤフィルタ１２の透過率を２の透過率から第１の透過率へと変化させる必要があるが、これは、高速な応答性を有する液晶ＮＤフィルタ１２を用いることによって実現することができる。

［作用等］
以上のように、本実施形態では、１フレーム目の画像データが、２フレーム目の画像データを撮像するときの露光量（適切な露光量）を推定するための画像データとして用いられている。また、１フレーム目の画像データが、２フレーム目の画像データを撮像するときの液晶ＮＤフィルタ１２の透過率である第２の透過率（適切な透過率）を算出すための画像データとして用いられている。そして、液晶ＮＤフィルタ１２の透過率が第２の透過率に設定されて２フレーム目の画像データが取得され、１フレーム目の画像データが出力されることなく、２フレーム目の画像が出力される。これにより、本実施形態では、撮像素子１３から出力された画像データを適切な露光量の画像データとして出力することができる。

さらに、本実施形態では、撮像素子１３の露光量が適切な露光量となるように第２の透過率が設定される。このため、２フレーム目の画像データにおいて、撮像素子１３から出力される各画素の信号が飽和信号量に達してしまうことを防止することができる（図４参照）。このため、本実施形態では、撮像素子１３のダイナミックレンジを最大限に生かした画像データを出力することができる。

特に、本実施形態では、第２の透過率を算出するとき、１フレーム目の画像データにおける全画素数に対する、飽和信号量に達している画素数の比率に基づいて、第２の透過率が算出される。このため、２フレーム目の画像データにおいて、撮像素子１３から出力される各画素の信号が飽和信号量に達してしまうことを効果的に防止することができる。

また、本実施形態では、ステップ１０３〜ステップ１１０の一連の処理を繰り返すことによって、撮像素子１３から出力された画像データを適切な露光量の画像データとして、常時、出力することができる。

さらに、本実施形態では、電子シャッターによる露光調整を行う必要がないため、動解像度が乱れてしまうことを防止することができる。また、本実施形態では、絞り１１の開度によって露光調整を行う必要がないので、絞り１１ボケによって画質が低下してしまったり、被写界深度に影響を及ぼしてしまったりすることを防止することができる。なお、絞り１１は、応答速度が遅く、所定の期間内（例えば、１６．７ｍｓ）に、開度を他の開度へ変化させることが困難であるといった問題もある。一方、液晶ＮＤフィルタ１２であれば、所定の期間内（例えば、１６．７ｍｓ）に、透過率を他の透過率へと変化させることが可能である。

ここで、露光量を調整するために、アナログ信号処理部２３のゲイン処理においてマイナスゲインを設定するような方法も考えられる。しかしながら、一般的には、アナログ信号処理部２３におけるマイナスゲインの幅は、−３ｄＢ程度しかないため露光量を調整する方法としては有効ではない。また、ノイズがフレーム間で変動してしまう場合もある。一方、本実施形態では、このような方法を採用する必要がないので、ノイズが発生してしまうことを防止することができる。

また、露光量を調整するために、複数のＮＤフィルタ（液晶ＮＤフィルタ１２とは異なり、透過率が可変ではないフィルタ）を採用する場合も考えられる。しかしながら、このようなＮＤフィルタの場合、応答速度が遅いといった問題があり、また、濃度が有限であるため、適切な露光量の調整ができないといった問題もある。さらに、ＮＤフィルタを他のＮＤフィルタへと切替える際に、無効フレームが発生してしまう問題もある。一方、本実施形態では、液晶ＮＤフィルタ１２を用いているため、これらの問題が発生してしまうようなこともない。

なお、電子シャッター、絞り１１、アナログ信号処理、ＮＤフィルタによる露光調整を排除するといった趣旨ではなく、本技術に係る露光調整と、これらの露光調整とを組み合わせることもできる。

［第１実施形態変形例］
第１実施形態の説明では、１フレーム目の画像データに基づいて、２フレーム目の画像データを撮像するときの適切な露光量を推定し、推定された露光量に基づいて第２の透過率を算出する場合について説明した。一方、１フレーム目の画像データに基づいて、直接的に、第２の透過率が算出されてもよい。

以上の説明では、ステップ１０３〜ステップ１１０の一連の処理が繰り返して実行される場合について説明した。一方、ステップ１０３〜ステップ１１０の処理は、必ずしも繰り返して実行されなくてもよく、１回で終了してもよい。

一例を挙げて説明すると、例えば、静止画撮像モードにおいて、シャッターボタンが操作されるタイミング以外のタイミングでは、撮像素子１３において通常のフレームレートでの撮像が行われ、通常のフレームレートでデジタル信号処理部２５から画像データが出力される。この画像データは、画像表示部１５に出力されてスルー画像として画像表示部１５の画面上に表示される。

そして、シャッターボタンが操作されると、このタイミングに合わせて、撮像素子１３においてハイフレームレートでの撮像が行われる。このとき、１フレーム目の画像データは、２フレーム目の画像データを撮像するときの露光量を推定するため（第２の透過率を算出するため）に用いられ、２フレーム目の画像データのみが出力される。この２フレーム目の画像データは、画像表示部１５に出力されてスルー画像として画像表示部１５の画面上に表示され、また、画像保存部１６に出力されて静止画データとして画像保存部１６に保存される。

ここで、例えば、所定の周期でハイフレームレート撮像を行い、それ以外は、通常のフレームレートで撮像を行うこともできる。この場合、例えば、５回に１回の周期でハイフレームレートで撮像が行われる。

第１実施形態の説明では、モード切替えボタンによって、ノーマルモードとハイフレームレートモードとが切替えられる場合について説明した。一方、システムコントローラ１９が自動的にノーマルモードとハイフレームレートモードとを切替えてもよい。

一例を挙げて説明すると、例えば、システムコントローラ１９は、ノーマルモードにおいて、通常のフレームレートで撮像を行い、このフレームレートで撮像された画像データにおいて、飽和信号量に達している画素の比率が所定の閾値を超えているかどうかを判定する。そして、閾値を超えている画像データが連続した場合（例えば、１０枚程度）に、ノーマルモードをハイフレームレートモードに切替える。

第１実施形態の説明では、第１の透過率が一定である場合について説明した。一方、第１の透過率は、可変に制御されてもよい。この場合、例えば、システムコントローラ１９は、１フレーム目の画像データを取得する度に、飽和信号量に達している画素の比率を判定し、この比率を記憶部１８に記憶することによって、比率の履歴を生成する。

そして、システムコントローラ１９は、この比率の変化の傾向に基づいて、第１の透過率を変化させる。例えば、システムコントローラ１９は、上記比率の変化の傾向が増加傾向である場合には、第１の透過率を小さくするように、第１の透過率を変化させ、上記比率の変化の傾向が減少傾向である場合には、第１の透過率を大きくするように、第１の透過率を変化させる。

他の一例として、例えば、システムコントローラ１９は、第２の透過率に基づいて、第１の透過率を変化させてもよい。この場合、システムコントローラ１９は、第２の透過率を算出する度に、第２の透過率を記憶部１８に記憶させて、第２の透過率の履歴を生成する。

そして、システムコントローラ１９は、第２の透過率の変化の傾向に基づいて、第１の透過率を変化させる。例えば、システムコントローラ１９は、第２の透過率の変化の傾向が増加傾向である場合には、第１の透過率を大きくするように、第１の透過率を変化させ、第２の透過率の変化の傾向が減少傾向である場合には、第１の透過率を小さくするように、第１の透過率を変化させる。

このように、第１の透過率を可変に制御することによって、第１の透過率と、第２の透過率との差が小さくなるため、ハイフレームレート撮像におけるフレームレートを更に高速するような場合にも対応することが可能となる。

第１実施形態の説明では、一例として、１フレーム目の画像データを撮像したときの露光量が多いような場合に、これに応じて、２フレーム目の画像データを撮像するときの露光量を少なくする（第２の透過率を小さくする）場合について説明した。一方、１フレーム目の画像データを撮像するときの露光量が少ないような場合に、これに応じて、２フレーム目の画像データを撮像するときの露光量を多くする（第２の透過率を大きくする）こともできる。

＜第２実施形態＞
次に、本技術の第２実施形態について説明する。第２実施形態以降の説明では、上述の第１実施形態と同様の構成及び機能を有する各部については同一符号を付し、説明を省略又は簡略化する。また、第２実施形態以降の説明では、上述の第１実施形態（及び第１実施形態変形例）と異なる点を中心に説明する。

特に、第２実施形態では、液晶ＮＤフィルタ１２の透過率が第２の透過率に設定されているときに、２フレーム目の画像データの他に、３フレーム目の画像データが撮像される点で上述の第１実施形態と異なっている。また、第２実施形態では、２フレーム目の画像データと、３フレーム目の画像データが加算（合成）され、この加算された画像データがハイダイナミックレンジ画像データとしてデジタル信号出力部から出力される点で、上述の第１実施形態とは異なっている。従って、この点を中心に説明する。

なお、第２実施形態では、モードとして、ノーマルモードと、ハイダイナミックレンジモードとが用意されている。また、第２実施形態では、モード切替えボタンは、これらの２つのモードを切替えることが可能とされている。なお、ここでの説明では、ノーマルモード及びハイダイナミックレンジモードの２つのモードの切替えについて説明するが、ノーマルモード、ハイフレームレートモード、及びハイダイナミックレンジモードの３つのモードを切替えることも可能である。

［動作説明］
図５は、第２実施形態に係る撮像装置１の処理を示すフローチャートである。図５に示すように、まず、システムコントローラ１９は、現在のモードがハイダイナミックレンジモードであるかどうかを判定する（ステップ２０１）。

現在のモードがハイダイナミックレンジモードではない場合（ステップ２０１のＮＯ）、つまり、現在のモードがノーマルモードである場合、システムコントローラ１９は、撮像レートを通常のフレームレート（例えば、３０ｆｐｓ）に設定する（ステップ２０２）。

一方、現在のモードがハイダイナミックレンジモードである場合（ステップ２０１のＹＥＳ）、システムコントローラ１９は、撮像レートを通常のフレームレートの３倍のフレームレート（ハイフレームレート：例えば、９０ｆｐｓ）に設定する（ステップ２０３）。つまり、システムコントローラ１９は、画像データを出力する出力レートの３倍のレートに撮像レートを設定する。

次に、システムコントローラ１９は、ハイフレームレート撮像における１フレーム目の撮像タイミングにおいて、液晶ＮＤフィルタ１２の透過率を第１の透過率に設定するように、液晶ＮＤドライバ２１に指示を出す（ステップ２０４）。

そしてシステムコントローラ１９は、撮像素子１３により１フレーム目の画像を撮像させる（ステップ２０５）。デジタル信号処理部２５は、デジタル信号に変換された１フレーム目の画像データを検波して、検波結果をシステムコントローラ１９に出力する。なお、１フレーム目の画像データは、画像表示部１５、画像保存部１６に対しては出力されない。

次に、システムコントローラ１９は、１フレーム目の画像データの検波結果に基づいて、２フレーム目、３フレーム目の画像を撮像するときの撮像素子１３における適切な露光量を推定する（ステップ２０６）。

２フレーム目、３フレーム目の画像を撮像するときの適切な露光量を推定すると、次に、システムコントローラ１９は、推定された露光量に基づいて、第２の透過率を算出する（ステップ２０７）。

第２の透過率を算出すると、次に、システムコントローラ１９は、ハイフレームレート撮像における２フレーム目の撮像タイミングにおいて、液晶ＮＤフィルタ１２の透過率を第２の透過率に設定するように、液晶ＮＤドライバ２１に指示を出す（ステップ２０８）。

次に、システムコントローラ１９は、撮像素子１３により２フレーム目の画像を撮像させる（ステップ２０９）。

次に、システムコントローラ１９は、ハイフレームレート撮像における３フレーム目の撮像タイミングにおいて、撮像素子１３により３フレーム目の画像を撮像させる（ステップ２１０）。

次に、デジタル信号出力部は、２フレーム目の画像データと、３フレーム目の画像データとを加算する（ステップ２１１）。そして、デジタル信号出力部は、加算された画像データを、ハイダイナミックレンジ画像データとして、画像表示部１５、画像保存部１６に対して出力する（ステップ２１２）。

なお、第２実施形態では、画像データの出力レート（例えば、３０ｆｐｓ）は、撮像素子１３による撮像レート（例えば、９０ｆｐｓ）の１／３になる。

デジタル信号出力部からハイダイナミック画像データが出力されると、システムコントローラ１９は、再びステップ１０１へもどり、現在のモードがハイダイナミックレンジモードであるか否かを判定する。

そして、現在のモードがハイダイナミックレンジモードであれば（ステップ２０１のＹＥＳ）、ステップ２０３からステップ２１２までの一連の処理が繰り返して実行される。

図６は、２フレーム目の画像データと、３フレーム目の画像データとが加算されるときの様子を示す図である。

２フレーム目の画像データ、３フレーム目の画像データにおいては、これらの画像データが撮像されるとき、撮像素子１３の露光量が適切な露光量となるように第２の透過率が設定される。このため、図６に示すように、デジタル信号処理部２５に２フレーム目の画像データ、３フレーム目の画像データが入力される時点において、各画素の信号が飽和信号量に達してしまうことを防止することができる。このため、第２実施形態では、図６に示すように、本来は撮像素子１３の飽和信号量の制限によって出力することができなかった高輝度信号の諧調を保持したハイダイナミックレンジ画像データをデジタル信号処理部２５から出力することができる。

［第２実施形態変形例］
第２の実施形態の説明では、ＮＤ液晶フィルタの透過率が第２の透過率に設定されている状態で、２枚の画像データが撮像され、この２枚の画像データが加算されてデジタル信号処理部２５から出力される場合について説明した。一方、ＮＤ液晶フィルタの透過率が第２の透過率に設定されている状態で、３枚以上の画像データが撮像され、この３枚以上の画像データが加算されてデジタル信号処理部２５から出力されてもよい。

第２実施形態においても第１実施形態変形例と同様に、第１の透過率が可変に制御されてもよい。また、第２実施形態においても、第１実施形態変形例と同様に、１フレーム目の画像データを撮像したときの露光量が少ないような場合に、これに応じて、２フレーム目、３フレーム目（あるいはそれ以上）の画像データを撮像するときの露光量を多くする（第２の透過率を大きくする）こともできる。

本技術は、以下の構成をとることもできる。
（１） 印加電圧に応じて光の透過率を調整可能な透過率調整部と、
前記透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
前記透過率調整部の透過率を第１の透過率に設定して前記撮像素子に撮像を行わせることによって第１の画像データを取得し、前記第１の画像データに基づいて、前記撮像素子において適切な露光量で撮像を行わせるため第２の透過率を算出し、前記透過率調整部の透過率を前記第２の透過率に設定して前記撮像素子に撮像を行わせることによって第２の画像データを取得し、取得された前記第２の画像データを出力する制御部と
を具備する撮像装置。
（２） 上記（１）に記載の撮像装置であって、
前記制御部は、前記透過率調整部の透過率を前記第２の透過率に設定して前記撮像部に撮像を行わせることによって前記第２の画像データ及び第３の画像データを取得し、前記第２の画像データ及び前記第３の画像データを加算し、加算された画像データを出力する
撮像装置。
（３） 上記（１）又は（２）に記載の撮像装置であって、
前記制御部は、前記第１の透過率を可変に制御する
撮像装置。
（４） 上記（１）〜（３）のうちいずれか１つに記載の撮像装置であって、
前記撮像素子は、複数の画素を有し、
前記制御部は、前記第１の画像データに基づいて前記第２の透過率を算出するとき、第１の画像データにおける全画素数に対する、飽和信号量に達している画素数の比率を判定し、前記比率に基づいて、第２の透過率を算出する
撮像装置。
（５） 上記（１）〜（４）のうちいずれか１つに記載の撮像装置であって、
前記制御部は、前記第１の画像データを取得し、前記第２の透過率を算出し、前記第２の画像データを取得し、前記第２の画像データを出力する一連の処理を繰り返して実行する
撮像装置。
（６） 上記（２）〜（５）のうちいずれか１つに記載の撮像装置であって、
前記制御部は、前記第１の画像データを取得し、前記第２の透過率を算出し、前記第２の画像データ及び前記第３の画像データを取得し、前記第２の画像データ及び第３の画像データを加算し、加算された画像データを出力する一連の処理を繰り返して実行する
撮像装置。
（７） 上記（１）〜（６）のうちいずれか１つに記載の撮像装置であって、
前記透過率調整部は、液晶ＮＤフィルタ（ＮＤ：Neutral Density）である
撮像装置。
（８） 印加電圧に応じて光の透過率を調整可能な透過率調整部の透過率を第１の透過率に設定して、前記透過率調整部を透過した光を露光する撮像素子に撮像を行わせることによって第１の画像データを取得し、
前記第１の画像データに基づいて、前記撮像素子において適切な露光量で撮像を行わせるため第２の透過率を算出し、
前記透過率調整部の透過率を前記第２の透過率に設定して前記撮像素子に撮像を行わせることによって第２の画像データを取得し、
取得された前記第２の画像データを出力する
画像データの出力方法。
（９） 撮像装置に、
印加電圧に応じて光の透過率を調整可能な透過率調整部の透過率を第１の透過率に設定して、前記透過率調整部を透過した光を露光する撮像素子に撮像を行わせることによって第１の画像データを取得するステップと、
前記第１の画像データに基づいて、前記撮像素子において適切な露光量で撮像を行わせるため第２の透過率を算出するステップと、
前記透過率調整部の透過率を前記第２の透過率に設定して前記撮像素子に撮像を行わせることによって第２の画像データを取得するステップと
取得された前記第２の画像データを出力するステップと
を実行させるプログラム。

１…撮像装置
１０…レンズ系
１２…液晶ＮＤフィルタ
１３…撮像素子
１４…制御部
１５…画像表示部
１６…画像保存部
１７…操作部
１８…記憶部
１９…システムコントローラ
２０…レンズドライバ
２１…ＮＤドライバ
２２…タイミングジェネレータ
２３…アナログ信号処理部
２４…Ａ／Ｄ変換部
２５…デジタル信号処理部

Claims (25)

1. 複数の画素を有し、印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
   前記撮像素子による撮像モードとして、第１のフレームレートで前記撮像素子に撮像を行わせる第１のモードと、前記第１のフレームレートよりも高い第２のフレームレートで前記撮像素子に撮像を行わせる第２のモードとを切り替え可能に構成されるとともに、
   前記第１のモードにおいて、複数フレームにわたって前記撮像素子が飽和している飽和状態と判定された場合に、前記第１のモードから前記第２のモードに切り替える切替え部と、
   前記第２のモードにおいて、前記透過率調整部の透過率を調整し、前記透過率が調整された状態で前記撮像素子に撮像を行わせる制御部と
   を具備する撮像装置。
2. 請求項１に記載の撮像装置であって、さらに、
   前記透過率調整部を具備する
   撮像装置。
3. 請求項１又は２に記載の撮像装置であって、
   前記制御部は、前記第１のモードにおいて、前記第１のフレームレートで前記撮像素子に撮像を行わせることによって画像データを取得し、
   前記切替え部は、前記第１のモードにおいて、前記画像データにおける全画素数に対する、飽和信号量に達している画素数の比率が所定の閾値を超えている場合に、前記撮像素子が前記飽和状態であると判定する
   撮像装置。
4. 請求項１から３のうちいずれか１項に記載の撮像装置であって、
   前記制御部は、前記第２のモードにおいて、
   前記撮像素子に撮像を行わせることによって第１の画像データを取得し、
   前記第１の画像データに基づいて調整透過率を算出し、
   前記第１の画像データが取得されたフレームの次のフレームで、前記透過率調整部の透過率を前記調整透過率に設定した状態において前記撮像素子に撮像を行わせることによって第２の画像データを取得し、
   前記第１の画像データを出力せずに、前記第２の画像データを出力する
   撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記第２のフレームレートは、前記第１のフレームレートの２倍である
   撮像装置。
6. 請求項１から３のうちいずれか１項に記載の撮像装置であって、
   前記制御部は、前記第２のモードにおいて、
   前記撮像素子に撮像を行わせることによって第１の画像データを取得し、
   前記第１の画像データに基づいて調整透過率を算出し、
   前記第１の画像データが取得されたフレームに続く複数の連続するフレームで、前記透過率調整部の透過率を前記調整透過率に設定した状態において前記撮像素子に撮像を行わせることによって複数の第２の画像データを取得し、
   前記第１の画像データを出力せずに、前記複数の第２の画像データが加算された加算画像データを出力する
   撮像装置。
7. 請求項６に記載の撮像装置であって、
   前記第２のフレームレートは、前記第１のフレームレートの３倍である
   撮像装置。
8. 請求項４から７のうちいずれか１項に記載の撮像装置であって、
   前記制御部は、前記第１の画像データを撮像する際の透過率を可変に制御する
   撮像装置。
9. 請求項４から８のうちいずれか１項に記載の撮像装置であって、
   前記制御部は、前記第１の画像データにおける全画素数に対する、飽和信号量に達している画素数の比率に基づいて、前記調整透過率を設定する
   撮像装置。
10. 請求項１から９のうちいずれか１項に記載の撮像装置であって、
    前記切替え部は、ユーザの操作によって前記撮像モードを切替え可能である
    撮像装置。
11. 請求項１から１０のうちいずれか１項に記載の撮像装置であって、
    前記透過率調整部は、液晶ＮＤフィルタ（ＮＤ：Neutral Density）である
    撮像装置。
12. 複数の画素を有し、印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に、第１のフレームレートで撮像を行わせる第１のモードと、前記第１のフレームレートよりも高い第２のフレームレートで前記撮像素子に撮像を行わせる第２のモードとを切り替え可能に制御し、
    前記第１のモードにおいて、複数フレームにわたって前記撮像素子が飽和している飽和状態と判定された場合に、前記第１のモードから前記第２のモードに切り替え、
    前記第２のモードにおいて、前記透過率調整部の透過率を調整し、
    前記第２のモードにおいて、前記透過率が調整された状態で前記撮像素子に撮像を行わせる
    撮像方法。
13. 複数の画素を有し、印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に、第１のフレームレートで撮像を行わせる第１のモードと、前記第１のフレームレートよりも高い第２のフレームレートで前記撮像素子に撮像を行わせる第２のモードとを切り替え可能に制御するステップと、
    前記第１のモードにおいて、複数フレームにわたって前記撮像素子が飽和している飽和状態と判定された場合に、前記第１のモードから前記第２のモードに切り替えるステップと、
    前記第２のモードにおいて、前記透過率調整部の透過率を調整するステップと、
    前記第２のモードにおいて、前記透過率が調整された状態で前記撮像素子に撮像を行わせるステップと
    をコンピュータに実行させるプログラム。
14. 複数の画素を有し、印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子と、
    前記撮像素子による撮像モードとして、第１のフレームレートで前記撮像素子に撮像を行わせる第１のモードと、前記第１のフレームレートよりも高い第２のフレームレートで前記撮像素子に撮像を行わせる第２のモードとを所定の周期で切り替える切替え部と、
    前記第２のモードにおいて、前記透過率調整部の透過率を調整し、前記透過率が調整された状態で前記撮像素子に撮像を行わせる制御部と
    を具備する撮像装置。
15. 請求項１４に記載の撮像装置であって、さらに、
    前記透過率調整部を具備する
    撮像装置。
16. 請求項１４又は１５に記載の撮像装置であって、
    前記制御部は、前記第２のモードにおいて、
    前記撮像素子に撮像を行わせることによって第１の画像データを取得し、
    前記第１の画像データに基づいて調整透過率を算出し、
    前記第１の画像データが取得されたフレームの次のフレームで、前記透過率調整部の透過率を前記調整透過率に設定した状態において前記撮像素子に撮像を行わせることによって第２の画像データを取得し、
    前記第１の画像データを出力せずに、前記第２の画像データを出力する
    撮像装置。
17. 請求項１６に記載の撮像装置であって、
    前記第２のフレームレートは、前記第１のフレームレートの２倍である
    撮像装置。
18. 請求項１４又は１５に記載の撮像装置であって、
    前記制御部は、前記第２のモードにおいて、
    前記撮像素子に撮像を行わせることによって第１の画像データを取得し、
    前記第１の画像データに基づいて調整透過率を算出し、
    前記第１の画像データが取得されたフレームに続く複数の連続するフレームで、前記透過率調整部の透過率を前記調整透過率に設定した状態において前記撮像素子に撮像を行わせることによって複数の第２の画像データを取得し、
    前記第１の画像データを出力せずに、前記複数の第２の画像データが加算された加算画像データを出力する
    撮像装置。
19. 請求項１８に記載の撮像装置であって、
    前記第２のフレームレートは、前記第１のフレームレートの３倍である
    撮像装置。
20. 請求項１６から１９のうちいずれか１項に記載の撮像装置であって、
    前記制御部は、前記第１の画像データを撮像する際の透過率を可変に制御する
    撮像装置。
21. 請求項１６から２０のうちいずれか１項に記載の撮像装置であって、
    前記制御部は、前記第１の画像データにおける全画素数に対する、飽和信号量に達している画素数の比率に基づいて、前記調整透過率を設定する
    撮像装置。
22. 請求項１４から２１のうちいずれか１項に記載の撮像装置であって、
    前記切替え部は、ユーザの操作によって前記撮像モードを切替え可能である
    撮像装置。
23. 請求項１４から２２のうちいずれか１項に記載の撮像装置であって、
    前記透過率調整部は、液晶ＮＤフィルタ（ＮＤ：Neutral Density）である
    撮像装置。
24. 複数の画素を有し、印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に、第１のフレームレートで撮像を行わせる第１のモードと、前記第１のフレームレートよりも高い第２のフレームレートで前記撮像素子に撮像を行わせる第２のモードとを所定の周期で切り替え、
    前記第２のモードにおいて、前記透過率調整部の透過率を調整し、
    前記第２のモードにおいて、前記透過率が調整された状態で前記撮像素子に撮像を行わせる
    撮像方法。
25. 複数の画素を有し、印加電圧に応じて光の透過率を調整可能な透過率調整部を透過した光を露光することにより撮像を行う撮像素子に、第１のフレームレートで撮像を行わせる第１のモードと、前記第１のフレームレートよりも高い第２のフレームレートで前記撮像素子に撮像を行わせる第２のモードとを所定の周期で切り替えるステップと、
    前記第２のモードにおいて、前記透過率調整部の透過率を調整するステップと、
    前記第２のモードにおいて、前記透過率が調整された状態で前記撮像素子に撮像を行わせるステップと
    をコンピュータに実行させるプログラム。

Images