JP6720324B2 - 合成長時間露光のライブアップデート - Google Patents

Description

本発明は、合成長時間露光のライブアップデートに関する。

特定の露光長でキャプチャされた画像の合成長時間露光バージョンを作成することは、画像の少なくともいくつかの画素にデジタルゲインまたはアナログゲインを適用することを含み得る。この方法で、低光量のシーンの画像が明るくされ得、場合によっては、そのシーンの詳細がより容易に見えるようになる。そのような合成長時間露光画像は、画像キャプチャデバイスのビューファインダ上に表示され得るが、表示される画像は、実際の長時間露光画像がキャプチャされた場合に何が結果になるかを正確に表さない可能性がある。たとえば、シーン内に動きがある場合、この動きは、実際の長時間露光画像においてぼやけまたは縞模様を伴って現れることがあるが、合成長時間露光画像では動きがぼやけにくい、および/または縞模様になりにくい。その結果、画像キャプチャデバイスが実際にキャプチャされた長時間露光画像をそのビューファインダ上に正確に表さないことによって、ユーザが不満を感じる可能性がある。

ワイヤレスコンピューティングデバイス、デジタルカメラ、ヘッドマウントディスプレイなどの画像キャプチャデバイスは、シーンを表す一連のキャプチャされた画像を表示するビューファインダ(たとえば、スクリーン)を含み得る。これらのビューファインダ画像は、時間的に連続して、おそらく互いに数ミリ秒(またはそれ以下)離れてキャプチャされ、ビューファインダ上に逐次的に表示される。したがって、ビューファインダ上に表示される情報はビューファインダリフレッシュレート(たとえば15〜30フレーム/秒)でアップデートされ得るので、一連のビューファインダ画像はライブビデオに似ている。ユーザは、画像キャプチャデバイスの設定を調整するとき、および/または1つまたは複数のペイロード画像をキャプチャするためにシャッタ機能をトリガするときに、これらのビューファインダ画像に頼ることができる。ペイロード画像は、表示またはさらなる処理のためにメモリに記憶され得る。

画像キャプチャデバイスがビューファインダ画像をすでにキャプチャしている場合、連続するビューファインダ画像のシーケンスの画素値を追加することによって、これらのビューファインダ画像の合成長時間露光が作成され得る。キャプチャされたビューファインダ画像のリングバッファ(または同様の表現)が維持され得る。さらに、一番最近のビューファインダ画像のランニングサムが、集約ビューファインダ画像内で維持され得る。新しいビューファインダ画像がキャプチャされると、この新しい画像が集約ビューファインダ画像に追加され、集約ビューファインダ画像(リングバッファによって示される)に寄与する最も古いフレームが集約ビューファインダ画像から差し引かれる。次いで、新しいビューファインダ画像が、リングバッファ内の最も古いフレームを置き換える。

ビューファインダがリフレッシュされるたびに、一番最近にキャプチャされたビューファインダ画像ではなく、集約ビューファインダ画像がビューファインダ上に表示され得る。このように、ビューファインダは予想されるモーションブラーを伴う非常に長時間の露光(たとえば、1000〜2000ミリ秒)を表し得るが、依然としてはるかに高速のビューファインダリフレッシュレートでアップデートする。

したがって、第1の例示的な実施形態は、画像をキャプチャする画像キャプチャデバイスの画像センサを含み得る。キャプチャされた画像は、2つ以上の以前にキャプチャされた画像のバッファに記憶され得る。2つ以上の以前にキャプチャされた画像のうちの最も古い画像がバッファから除去され得る。バッファ内の画像の集約画像がアップデートされ得る。このアップデートは、集約画像から最も古い画像の表現を差し引き、キャプチャされた画像の表現を集約画像に追加することを含み得る。画像キャプチャデバイスのビューファインダは、集約画像の表現を表示し得る。

第2の例示的な実施形態では、製品は、コンピューティングデバイスによる実行時に、コンピューティングデバイスに第1の例示的な実施形態による動作を実行させるプログラム命令を記憶した非一時的コンピュータ可読媒体を含み得る。

第3の例示的な実施形態では、コンピューティングデバイスは、少なくとも1つのプロセッサと、データストレージおよびプログラム命令とを含み得る。プログラム命令は、データストレージに記憶され得、少なくとも1つのプロセッサによる実行時に、コンピューティングデバイスに第1の例示的な実施形態による動作を実行させ得る。

第4の例示的な実施形態では、システムは、第1の例示的な実施形態の動作の各々を実行するための様々な手段を含み得る。

これらおよび他の実施形態、態様、利点、および代替形態は、必要に応じて添付の図面を参照して、以下の詳細な説明を読むことによって、当業者には明らかになるであろう。さらに、本明細書に提供されるこの概要および他の説明ならび図面は、実施形態を単なる例として説明することが意図されており、したがって、多くの変形が可能であることを理解されたい。たとえば、構造要素および処理ステップは、特許請求の範囲に記載された実施形態の範囲内にとどまりながら、再配置、結合、分散、除去、または他の方法で変更され得る。

例示的な実施形態による、デジタルカメラデバイスの正面図、右側面図、および背面図である。 例示的な実施形態による、画像キャプチャ機能を有するコンピューティングデバイスのブロック図である。 例示的な実施形態による、画像キャプチャのタイミングを示す図である。 例示的な実施形態による、キャプチャされた画像の処理を示す図である。 例示的な実施形態による、ユーザインターフェースを示す図である。 例示的な実施形態による、ユーザインターフェースを示す図である。 例示的な実施形態によるフローチャートである。 例示的な実施形態によるフローチャートである。

例示的な方法、デバイス、およびシステムが本明細書に記載される。「例」および「例示的」という用語は、本明細書では、「例、事例、または例示としての役割を果たす」ことを意味するために使用されることを理解されたい。「例」または「例示的」であるとして本明細書に記載されたどの実施形態または特徴も、必ずしも他の実施形態または特徴よりも好ましいまたは有利であると解釈されるべきではない。本明細書に提示される主題の範囲から逸脱することなしに、他の実施形態が利用されてよく、他の変更が行われてよい。

したがって、本明細書に記載された例示的な実施形態は、限定することを意味するものではない。本明細書に一般的に記載され、図面に示されるような本開示の態様は、多種多様の異なる構成で配置、置換、結合、分離、および設計され得、それらのすべてが本明細書において企図される。

さらに、文脈が他に示唆しない限り、図面の各々に示される特徴は、互いに組み合わせて使用され得る。したがって、図面は、すべての図示された特徴が各実施形態のために必要ではないことを理解して、1つまたは複数の全体的な実施形態の構成要素の側面として一般的に見なされるべきである。

文脈に応じて、「カメラ」は、個々の画像キャプチャコンポーネントを指してもよく、1つまたは複数の画像キャプチャコンポーネントを含むデバイスを指してもよい。一般に、画像キャプチャコンポーネントは、以下に説明するように、アパーチャ、レンズ、記録面、およびシャッタを含み得る。

1.例示的な画像キャプチャデバイス
カメラなどの画像キャプチャデバイスが普及するにつれて、それらはスタンドアローンのハードウェアデバイスとして使用される場合も、または他の様々なタイプのデバイスに統合される場合もある。たとえば、スチルカメラおよびビデオカメラは、現在、ワイヤレスコンピューティングデバイス(たとえば、モバイル電話)、タブレットコンピュータ、ラップトップコンピュータ、ビデオゲームインターフェース、ホームオートメーションデバイス、さらには自動車および他のタイプの車両にも含まれているのが通常となっている。

カメラの物理的コンポーネントは、光が入射する1つまたは複数のアパーチャ、光によって表される画像をキャプチャするための1つまたは複数の記録面、および画像の少なくとも一部を記録面に焦点調節させるために各アパーチャの前方に位置するレンズを含み得る。アパーチャは、固定サイズであってもよく、調整可能であってもよい。アナログカメラでは、記録面は写真フィルムであり得る。デジタルカメラでは、記録面は、キャプチャされた画像をデータストレージユニット(たとえば、メモリ)に転送および/または記憶するための電子画像センサ(たとえば、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)センサ)を含み得る。

1つまたは複数のシャッタが、レンズまたは記録面に結合されてもよく、またはその近くにあってもよい。各シャッタは、光が記録面に到達することを阻止する閉鎖位置、または光が記録面に到達することができる開放位置のいずれかにあり得る。各シャッタの位置は、シャッタボタンによって制御され得る。たとえば、シャッタはデフォルトで閉鎖位置にあり得る。シャッタボタンがトリガされる(たとえば、押される)と、シャッタは、シャッタサイクルとして知られている時間の間、閉鎖位置から開放位置に変化し得る。シャッタサイクルの間に、画像が記録面上にキャプチャされ得る。シャッタサイクルの終わりに、シャッタは閉鎖位置に戻り得る。

代替で、シャッタリング処理は電子的であり得る。たとえば、CCD画像センサの電子シャッタが「開かれる」前に、そのフォトダイオード内の残留信号を除去するためにセンサがリセットされ得る。電子シャッタが開いたままの間、フォトダイオードは電荷を蓄積し得る。シャッタが閉じると、これらの電荷はより長期間のデータストレージに転送され得る。機械的シャッタリングと電子的シャッタリングとの組合せも可能である。

タイプにかかわらず、シャッタは、シャッタボタン以外のものによって起動および/または制御され得る。たとえば、シャッタは、ソフトキー、タイマ、または他の何らかのトリガによって起動され得る。本明細書では、「画像キャプチャ」という用語は、シャッタリング処理がどのようにトリガされるか、または制御されるかにかかわらず、1つまたは複数の画像が記録される、任意の機械的および/または電子的シャッタリング処理を指してもよい。

キャプチャされた画像の露光は、アパーチャのサイズ、アパーチャに入射する光の輝度、およびシャッタサイクルの長さ(シャッタ長、または露光長とも呼ばれる)の組合せによって決定され得る。さらに、デジタルゲインおよび/またはアナログゲインが画像に適用され得、それによって露光に影響を与える。いくつかの実施形態では、「露光長」、「露光時間」、または「露光時間間隔」という用語は、シャッタ長に特定のアパーチャサイズのゲインを乗じたものを指してもよい。したがって、これらの用語は、多少交換可能に使用され得、シャッタ長、露光時間、および/または光が記録面に到達することによって生じる信号応答の量を制御する任意の他のメトリックである可能性があると解釈されるべきである。

スチルカメラは、画像キャプチャがトリガされるたびに1つまたは複数の画像をキャプチャし得る。ビデオカメラは、画像キャプチャがトリガされたままである限り(たとえば、シャッタボタンが押されている間)、特定のレート(たとえば、24枚の画像またはフレーム/秒)で画像を連続的にキャプチャし得る。一部のデジタルスチルカメラは、カメラデバイスまたはアプリケーションが起動されたときにシャッタを開けることができ、シャッタはカメラデバイスまたはアプリケーションが無効になるまでこの位置にとどまることができる。シャッタが開いている間、カメラデバイスまたはアプリケーションは、シーンの表現をキャプチャしてビューファインダ上に表示し得る。画像キャプチャがトリガされると、現在のシーンの1つまたは複数の別個のペイロード画像がキャプチャされ得る。

カメラは、アナログカメラでさえ、1つまたは複数のカメラの機能、および/あるいはアパーチャサイズ、露光長、ゲインなどの設定を制御するためのソフトウェアを含み得る。さらに、一部のカメラは、画像キャプチャ中または画像キャプチャ後に画像をデジタル処理するソフトウェアを含み得る。上記の説明は一般にカメラを指すが、特にデジタルカメラに関連している可能性がある。

前述のように、デジタルカメラはスタンドアロンデバイスであってもよく、他のデバイスと統合されてもよい。一例として、図1は、デジタルカメラデバイス100のフォームファクタを示す。デジタルカメラデバイス100は、たとえば、モバイル電話、タブレットコンピュータ、またはウェアラブルコンピューティングデバイスであり得る。しかしながら、他の実施形態も可能である。デジタルカメラデバイス100は、本体102、前面カメラ104、多素子ディスプレイ106、シャッタボタン108、および他のボタン110などの様々な要素を含み得る。デジタルカメラデバイス100は、背面カメラ112をさらに含み得る。前面カメラ104は本体102の側面に配置され、通常は動作中にユーザに面していてもよく、多素子ディスプレイ106と同じ側に配置されてもよい。背面カメラ112は前面カメラ104とは反対の本体102の側面に配置され得る。カメラを前面および背面として参照することは任意であり、デジタルカメラデバイス100は、本体102の様々な側面に配置された複数のカメラを含み得る。

多素子ディスプレイ106は、陰極線管(CRT)ディスプレイ、発光ダイオード(LED)ディスプレイ、液晶(LCD)ディスプレイ、プラズマディスプレイ、または当該技術分野で知られている任意の他のタイプのディスプレイを表すことができる。いくつかの実施形態では、多素子ディスプレイ106は、前面カメラ104および/または背面カメラ112によってキャプチャされている現在の画像のデジタル表現を表示してもよく、これらのカメラのうちのいずれか、または両方によってキャプチャされたか、または最近キャプチャされた画像を表示してもよい。したがって、多素子ディスプレイ106は、いずれかのカメラのビューファインダとして機能し得る。多素子ディスプレイ106はまた、デジタルカメラデバイス100の任意の態様の設定および/または構成を調整し得るタッチスクリーンおよび/または存在センシティブ機能をサポートし得る。

前面カメラ104は、画像センサと、レンズなどの関連付けられる光学素子とを含み得る。前面カメラ104は、ズーム機能を提供してもよく、固定焦点長を有してもよい。他の実施形態では、交換可能レンズが前面カメラ104とともに使用され得る。前面カメラ104は、可変の機械的アパーチャと機械的および/または電子的シャッタとを有し得る。前面カメラ104はまた、静止画像、ビデオ画像、またはその両方をキャプチャするように構成され得る。さらに、前面カメラ104は、モノスコピックカメラ、ステレオスコピックカメラ、またはマルチスコピックカメラを表すことができる。背面カメラ112は、同様に配置されてもよく、異なって配置されてもよい。さらに、前面カメラ104、背面カメラ112、またはその両方は、1つまたは複数のカメラのアレイであってもよい。

前面カメラ104および背面カメラ112のいずれかまたは両方は、ターゲットオブジェクトを照らすための光フィールドを提供する照明コンポーネントを含んでもよく、それに関連付けられてもよい。たとえば、照明コンポーネントは、ターゲットオブジェクトのフラッシュまたは一定の照明を提供することができる。照明コンポーネントはまた、構造化された光、偏光された光、および特定のスペクトル成分を有する光の1つまたは複数を含む光フィールドを提供するように構成され得る。オブジェクトから3次元(3D)モデルを回復するために知られており使用される他のタイプの光フィールドも、本明細書の実施形態の文脈内で可能である。

前面カメラ104および背面カメラ112のいずれかまたは両方は、カメラがキャプチャすることができるシーンの周囲の輝度を連続的または時々決定し得る周囲光センサを含んでもよく、それに関連付けられてもよい。いくつかのデバイスでは、カメラに関連付けられるスクリーン(たとえば、ビューファインダ)の表示の輝度を調整するために、周囲光センサが使用され得る。決定された周囲の輝度が高い場合、スクリーンを見やすくするためにスクリーンの輝度レベルが上げられてよい。決定された周囲の輝度が低い場合、やはりスクリーンを見やすくし、また潜在的に電力を節約するために、スクリーンの輝度レベルが下げられてよい。さらに、周囲光センサの入力は、関連付けられるカメラの露光長を決定するために、またはこの決定を助けるために使用され得る。

デジタルカメラデバイス100は、ターゲットオブジェクトの画像をキャプチャするために、多素子ディスプレイ106と、前面カメラ104または背面カメラ112のいずれかとを使用するように構成され得る。キャプチャされた画像は、複数の静止画像またはビデオストリームであり得る。画像キャプチャは、シャッタボタン108を起動すること、多素子ディスプレイ106上のソフトキーを押すこと、または他の何らかのメカニズムによってトリガされ得る。実装形態に応じて、たとえば、シャッタボタン108を押した時、ターゲットオブジェクトの適切な照明条件の時、デジタルカメラデバイス100をあらかじめ定められた距離だけ移動させた時、またはあらかじめ定められたキャプチャスケジュールに応じて、画像は特定の時間間隔で自動的にキャプチャされ得る。

上述したように、デジタルカメラデバイス100または他のタイプのデジタルカメラの機能は、ワイヤレスコンピューティングデバイス、セル電話、タブレットコンピュータ、ラップトップコンピュータなどのコンピューティングデバイスに統合され得る。例として、図2は、カメラコンポーネント224を含み得る例示的なコンピューティングデバイス200のコンポーネントの一部を示す簡略化されたブロック図である。

限定ではなく一例として、コンピューティングデバイス200は、セルラモバイル電話(たとえば、スマートフォン)、スチルカメラ、ビデオカメラ、ファックス機、コンピュータ(デスクトップ、ノートブック、タブレット、またはハンドヘルドコンピュータなど)、携帯情報端末(PDA)、ホームオートメーションコンポーネント、デジタルビデオレコーダ(DVR)、デジタルテレビ、リモートコントロール、ウェアラブルコンピューティングデバイス、あるいは少なくとも何らかの画像キャプチャおよび/または画像処理機能を備えた他の何らかのタイプのデバイスである。コンピューティングデバイス200は、デジタルカメラ、カメラアプリケーションがソフトウェアにおいて動作する特定の物理的ハードウェアプラットフォーム、またはカメラ機能を実行するように構成されたハードウェアとソフトウェアとの他の組合せなどの物理的カメラデバイスを表し得ることを理解されたい。

図2に示されるように、コンピューティングデバイス200は、通信インターフェース202、ユーザインターフェース204、プロセッサ206、データストレージ208、およびカメラコンポーネント224を含み得、それらのすべては、システムバス、ネットワーク、または他の接続メカニズム210によって互いに通信可能にリンクされ得る。

通信インターフェース202は、コンピューティングデバイス200が、アナログ変調またはデジタル変調を使用して、他のデバイス、アクセスネットワーク、および/またはトランスポートネットワークと通信することを可能にし得る。したがって、通信インターフェース202は、旧来の音声電話サービス(POTS)通信および/またはインターネットプロトコル(IP)あるいは他のパケット化通信などの回線交換通信および/またはパケット交換通信を容易にし得る。たとえば、通信インターフェース202は、無線アクセスネットワークまたはアクセスポイントとのワイヤレス通信のために配置されたチップセットおよびアンテナを含み得る。また、通信インターフェース202は、イーサネット(登録商標)、ユニバーサルシリアルバス(USB)、または高精細マルチメディアインターフェース(HDMI(登録商標))ポートなどのワイヤラインインターフェースの形態をとってもよく、それを含んでもよい。通信インターフェース202はまた、Wifi、BLUETOOTH(登録商標)、全地球測位システム(GPS)、または広域ワイヤレスインターフェース(たとえば、WiMAXまたは3GPPロングタームエボリューション(LTE))などのワイヤレスインターフェースの形態をとってもよく、それを含んでもよい。しかしながら、他の形態の物理層インターフェースおよび他のタイプの標準または独自の通信プロトコルが、通信インターフェース202を介して使用されてもよい。さらに、通信インターフェース202は、複数の物理的通信インターフェース(たとえば、Wifiインターフェース、BLUETOOTH(登録商標)インターフェース、および広域ワイヤレスインターフェース)を備えてもよい。

ユーザインターフェース204は、コンピューティングデバイス200が、ユーザからの入力を受信し、ユーザに出力を提供するなど、人間または非人間のユーザと対話することを可能にするように機能し得る。したがって、ユーザインターフェース204は、キーパッド、キーボード、タッチセンシティブパネルまたは存在センシティブパネル、コンピュータマウス、トラックボール、ジョイスティック、マイクロフォンなどの入力コンポーネントを含み得る。ユーザインターフェース204はまた、たとえば、存在センシティブパネルと組み合わされ得るディスプレイスクリーンなどの1つまたは複数の出力コンポーネントを含み得る。ディスプレイスクリーンは、CRT、LCD、および/またはLED技術、あるいは現在知られているか、後に開発される他の技術に基づくものであってもよい。ユーザインターフェース204はまた、スピーカ、スピーカジャック、オーディオ出力ポート、オーディオ出力デバイス、イヤホン、および/または他の同様のデバイスを介して、可聴出力を生成するように構成され得る。

いくつかの実施形態では、ユーザインターフェース204は、コンピューティングデバイス200によってサポートされるスチルカメラおよび/またはビデオカメラ機能のビューファインダとして機能するディスプレイを含み得る。さらに、ユーザインターフェース204は、カメラ機能の構成および焦点調節ならびに画像のキャプチャ(たとえば、写真のキャプチャ)を容易にする1つまたは複数のボタン、スイッチ、ノブおよび/またはダイヤルを含み得る。これらのボタン、スイッチ、ノブ、および/またはダイヤルの一部または全部が、存在センシティブパネルによって実装される可能性がある。

プロセッサ206は、たとえばマイクロプロセッサなどの1つまたは複数の汎用プロセッサ、および/あるいはデジタル信号プロセッサ(DSP)、グラフィックス処理ユニット(GPU)、浮動小数点ユニット(FPU)、ネットワークプロセッサ、または特定用途向け集積回路(ASIC)などの1つまたは複数の専用プロセッサを備え得る。いくつかの例では、専用プロセッサは、種々の可能性の中でも、画像処理、画像整列、および画像のマージを可能とし得る。データストレージ208は、磁気ストレージ、光学ストレージ、フラッシュストレージ、または有機ストレージなどの1つまたは複数の揮発性および/または不揮発性ストレージコンポーネントを含み得、プロセッサ206の全体または一部に統合し得る。データストレージ208は、リムーバブルおよび/または非リムーバブルコンポーネントを含み得る。

プロセッサ206は、本明細書に記載された様々な機能を実行するために、データストレージ208に記憶されたプログラム命令218(たとえば、コンパイルされたまたはコンパイルされていないプログラム論理および/または機械コード)を実行することが可能であり得る。したがって、データストレージ208は、コンピューティングデバイス200による実行時に、コンピューティングデバイス200に、本明細書および/または添付の図面に開示された方法、プロセス、または動作のうちのいずれかを実行させるプログラム命令を記憶した非一時的コンピュータ可読媒体を含み得る。プロセッサ206によるプログラム命令218の実行は、プロセッサ206がデータ212を使用することをもたらし得る。

例として、プログラム命令218は、オペレーティングシステム222(たとえば、オペレーティングシステムカーネル、デバイスドライバ、および/または他のモジュール)、およびコンピューティングデバイス200にインストールされた1つまたは複数のアプリケーションプログラム220(たとえば、カメラ機能、アドレス帳、電子メール、ウェブブラウジング、ソーシャルネットワーキング、および/またはゲームアプリケーション)を含み得る。同様に、データ212は、オペレーティングシステムデータ216およびアプリケーションデータ214を含み得る。オペレーティングシステムデータ216は、主としてオペレーティングシステム222にアクセス可能であり得、アプリケーションデータ214は、主として1つまたは複数のアプリケーションプログラム220にアクセス可能であり得る。アプリケーションデータ214は、コンピューティングデバイス200のユーザに見える、またはコンピューティングデバイス200のユーザから見えないファイルシステムに配置され得る。

アプリケーションプログラム220は、1つまたは複数のアプリケーションプログラミングインタフェース(API)を通じてオペレーティングシステム222と通信し得る。これらのAPIは、たとえば、アプリケーションプログラム220がアプリケーションデータ214を読み出すこと、および/またはそれを書き込むこと、通信インターフェース202を介して情報を送信または受信すること、ユーザインターフェース204上の情報を受信および/または表示することなどを容易にし得る。

いくつかの業界語において、アプリケーションプログラム220は、略して「アプリ(apps)」と呼ばれ得る。さらに、アプリケーションプログラム220は、1つまたは複数のオンラインアプリケーションストアまたはアプリケーション市場を通じてコンピューティングデバイス200にダウンロード可能であり得る。しかしながら、アプリケーションプログラムはまた、ウェブブラウザを介して、またはコンピューティングデバイス200上の物理的インターフェース(たとえば、USBポート)を通じてなど、他の方法でコンピューティングデバイス200にインストールされ得る。

カメラコンポーネント224は、アパーチャ、シャッタ、記録面(たとえば、写真フィルムおよび/または画像センサ)、レンズ、および/またはシャッタボタンを含み得るが、これらに限定されない。カメラコンポーネント224は、プロセッサ206によって実行されるソフトウェアによって少なくとも部分的に制御され得る。

2.例示的な合成露光
上述したように、多くの画像キャプチャデバイスはビューファインダを含む。デバイスのアパーチャが開いているとき、および/またはデバイスが他の方法でペイロード画像をキャプチャする準備ができているとき、プレビュー画像がビューファインダ内に表示され得る。これらのプレビュー画像は、ビューファインダリフレッシュレートと呼ばれる特定のレートでリフレッシュされ得る。場合によっては、ビューファインダリフレッシュレートは15Hzまたは30Hzであるが、他のレートも使用され得る。これらのリフレッシュレートは、ビューファインダのリフレッシュ時間間隔を定義し、リフレッシュ時間間隔はリフレッシュ間の時間である。リフレッシュ時間間隔はリフレッシュレートの逆数であり、したがって、30Hzのリフレッシュレートは33.33ミリ秒のリフレッシュ時間間隔を有し、15Hzのリフレッシュレートは66.66ミリ秒のリフレッシュ時間間隔を有する。

ユーザは、画像キャプチャデバイスを照準合わせさせ、焦点調節させ、あるいは調整するために、プレビュー画像を利用し得る。状況によっては、ビューファインダで見るものによってユーザが満足すると、ユーザは画像キャプチャデバイスのシャッタ機能をトリガする。これにより、おそらくビューファインダ画像よりも高い解像度で、ペイロード画像がキャプチャされる可能性がある。ペイロード画像は、メモリに記憶されるか、および/または実際に撮影された画像としてユーザに提示される。次いで、ユーザは、このペイロード画像を共有、印刷、またはさらに操作し得る。

場合によっては、ユーザは、長時間露光長でペイロード画像をキャプチャすることが望ましいと感じる場合がある。たとえば、ユーザが低光量のシーンの画像をキャプチャしようとしている場合、シーン内の詳細のうちの一部を適切に取得するために長時間露光が必要とされる場合がある。代替的または追加的に、長時間露光を使用して芸術的な写真が作られ得る。一例として、ユーザは、通過する自動車からのヘッドライトが縞模様に現れるように、夕暮れ時に建物の写真を撮影したい場合がある。長時間露光は、ユーザがこの目標を達成するために役立ち得る。

1000〜2000ミリ秒の長時間露光が例として本明細書に説明されているが、「長時間」露光はより長くても短くてもよく、ビューファインダリフレッシュ時間間隔よりも長い任意の露光時間間隔を含んでもよい。

図3は、ビューファインダリフレッシュ302およびビューファインダディスプレイ304と比較した、長時間露光画像キャプチャ300の例示的な233ミリ秒のタイミング図である。画像キャプチャ300は、画像キャプチャデバイスによる画像1、画像2、画像3、および画像4の順次キャプチャを含む。それぞれの露光時間間隔は100ミリ秒である。結果として、図3において点線の表記で示されるように、画像1および画像4のキャプチャが部分的に示される。画像キャプチャ300は、前の画像キャプチャが終了したときに開始する後続の画像キャプチャを示すが、いくつかの実施形態は、これらのイベント間の遅延を含み得る。

ビューファインダリフレッシュ302は、画像キャプチャデバイスのビューファインダがその表示された画像をリフレッシュできるタイミングを示す。この例では、リフレッシュレートは30Hzであるため、リフレッシュ時間間隔は33.33ミリ秒である。便宜上、図3に示され、本明細書を通して使用されるリフレッシュ時間間隔は、最も近いミリ秒に丸められてもよい。

ビューファインダディスプレイ304は、各時点の間に表示される画像を示す。33ミリ秒まで、画像0が表示される。画像0は、画像1のキャプチャが開始される前に完全にキャプチャされた画像であると仮定される。すべての画像は100ミリ秒の露光時間間隔を有するので、図3のタイミング図が左に拡張された場合、画像0の表示は-67ミリ秒において開始する。

画像1の表示は33ミリ秒において開始し、133ミリ秒において終了する。画像1のキャプチャは10ミリ秒において終了するので、画像1が表示され始めることが最も早いのは33ミリ秒であり、これは次に利用可能なビューファインダリフレッシュである。同様に、画像2の表示は133ミリ秒(画像2のキャプチャが終了した後の次に利用可能なビューファインダリフレッシュ)において開始し、233ミリ秒において終了する。同様に、画像3の表示(図示せず)は、233ミリ秒(画像3のキャプチャが終了した後の次に利用可能なビューファインダリフレッシュ)において開始し、333ミリ秒において終了する。

露光時間間隔およびビューファインダリフレッシュ時間間隔について図3において使用される値は単なる例である。他の値も使用され得る。

上述のように、ビューファインダリフレッシュ時間間隔よりも長い露光時間間隔が使用される場合、図3の場合のように、ビューファインダ上に表示される画像はユーザの期待を満たさない可能性がある。図3の例においては、ビューファインダは100ミリ秒毎に新しい画像を表示する。露光時間間隔が十分に長い場合(たとえば、100ミリ秒以上)、ビューファインダディスプレイは、もはやユーザに「ライブである」ように見えない場合がある。言い換えれば、ターゲットシーンのライブビデオキャプチャを表示するように見える代わりに、ビューファインダは、低頻度でしかアップデートされない一連の静止画像を表示しているように見える場合がある。したがって、所望の露光時間間隔がこのレートに関連付けられるリフレッシュ時間間隔よりも十分に長い場合、約15Hz以上のビューファインダリフレッシュレートを有する結果である動画の錯覚が壊れる。

3.例示的な長い合成露光
図4は、この制限に対処するために使用され得る技法を示す。バッファ400は、7つのエントリを有するリングバッファ(環状バッファとも呼ばれる)である。バッファ400へのアクセスは、反復ラップアラウンドベースで行われる。新しいデータはエントリ0、次いでエントリ1、エントリ2などに書き込まれる。最後のエントリ(この場合はエントリ6)が書き込まれると、さらなる新しいデータがエントリ0、エントリ1などに書き込まれる。バッファが循環的に逐次的に横切られるこのプロセスは、無限に続く場合がある。

ポインタは、データが書き込まれるべき次のエントリを参照するために使用されてもよく、このポインタは、各エントリが書き込まれた後に進んでもよい。エントリ6が書き込まれると、ポインタはエントリ0に移動する。

バッファ400は、ビューファインダリフレッシュレートに一致する(または、ほぼ一致する)画像キャプチャレートが適用され得るように使用され得る。画像キャプチャデバイスは、m個(ここでは、mは7)の一番最近にキャプチャされた画像をそのようなリングバッファに記憶する。画像キャプチャデバイスはまた、画像のランニングサム(図4には明示されず)をリングバッファに記憶する。ランニングサムは、事実上、キャプチャされた画像内のシーンの合成長時間露光を表す集約画像である。

ライブの合成長時間露光を表示するためにバッファ400および集約画像が使用され得る方法の一例が図4に示される。ビューファインダがしばらくの間アクティブであり、バッファ400がキャプチャされた画像で一杯になっており、集約画像がこれらのキャプチャされた画像の合計であると仮定される。さらに、ポインタがエントリ0を指すと仮定される。

時間T0において、新しい画像Aがキャプチャされる。それに応答して、画像キャプチャデバイスは以下のステップを実行する。(i)エントリ0に記憶された画像(バッファ400内の最も古い画像である)が集約画像から差し引かれ、(ii)新しい画像Aが集約画像に追加され、(iii)新しい画像Aがエントリ0に書き込まれ(したがって、最も古い画像を上書きする)、(iv)ポインタがエントリ1を指すように進められる。

同様に、時間T1において、新しい画像Bがキャプチャされる。それに応答して、画像キャプチャデバイスは以下のステップを実行する。(i)エントリ1に記憶された画像(現在は、バッファ400内の最も古い画像である)が集約画像から差し引かれ、(ii)新しい画像Bが集約画像に追加され、(iii)新しい画像Bがエントリ1に書き込まれ(したがって、最も古い画像を上書きする)、(iv)ポインタがエントリ2を指すように進められる。

同様に、時間T2において、新しい画像Cがキャプチャされる。それに応答して、画像キャプチャデバイスは以下のステップを実行する。(i)エントリ2に記憶された画像(現在は、バッファ400内の最も古い画像である)が集約画像から差し引かれ、(ii)新しい画像Cが集約画像に追加され、(iii)新しい画像Cがエントリ2に書き込まれ(したがって、最も古い画像を上書きする)、(iv)ポインタがエントリ3を指すように進められる。

このプロセスは、新しい画像がエントリ6に書き込まれた後、エントリ6からエントリ0へのポインタの「ラップ」を含む反復を含む、多くの反復で継続し得る。各反復の間に、集約画像がビューファインダ上に表示される。したがって、バッファ400内のエントリの数によって定義される露光時間間隔を有するライブの合成長時間露光は、リフレッシュ時間間隔ごとに1回アップデートされる。

いくつかの実施形態では、バッファ400は別の方式で管理され得る。1つの可能な代替案では、新しくキャプチャされた画像は、バッファ400内の最も古い画像(および、その関連エントリ)が除去される前に、バッファ400内の新しいエントリに追加され得る。したがって、少なくともある時点では、バッファ400はm+1の深さを有し得る。これらの場合、バッファ400は、バッファ400の先頭を指すポインタ(たとえば、一番最近にキャプチャされた画像を含むエントリ)と、バッファ400の末尾を指すポインタ(たとえば、最も古いキャプチャされた画像を含むエントリ)との2つのポインタに関連付けられ得る。

それにもかかわらず、図4の技法または同等の技法を使用して、ビューファインダリフレッシュ時間間隔の倍数である任意の露光時間間隔がサポートされ得る。たとえば、ビューファインダリフレッシュレートが30Hzであると仮定すると、リフレッシュ時間間隔は33ミリ秒である。ほんのいくつかの可能性のある例として、バッファ400内のエントリの数をそれぞれ2、4、6、12、18、24、30、および60に調整することによって、67、133、200、400、600、800、1000、および2000ミリ秒の長時間露光時間間隔がサポートされ得る。

バッファ内のエントリの数が1である場合、露光時間間隔はビューファインダリフレッシュ時間間隔に等しい。さらに、ビューファインダリフレッシュ時間間隔よりも短い任意の露光時間間隔は、バッファサイズ1でサポートされ得る。たとえば、ビューファインダリフレッシュ時間間隔が33ミリ秒で、露光時間間隔が20ミリ秒である場合、33ミリ秒ごとに1回20ミリ秒の露光画像がキャプチャされ得、一番最近にキャプチャされた画像がビューファインダによって表示され得る。

したがって、いくつかの実施形態では、有効な露光時間間隔は、リフレッシュ時間間隔以下の任意の値、またはリフレッシュ時間間隔の倍数である値を取ることができる。一例として、リフレッシュ時間間隔が33ミリ秒である場合、0ミリ秒より長く33ミリ秒以下の任意の露光時間間隔が選択され得る。しかしながら、33ミリ秒よりも長い露光時間間隔が望ましい場合、67ミリ秒、100ミリ秒、133ミリ秒などの値だけが選択され得る。

図5は、この特性を示す例示的なユーザインターフェースコンポーネント500を示す。ユーザインターフェースコンポーネント500は、選択可能な露光時間間隔の範囲を表すスライダ502を含む。バー504はデフォルトまたは選択された露光時間間隔を表し、この露光時間間隔の値はすぐ下に示される(この場合、露光時間間隔は23ミリ秒である)。

ユーザインターフェースコンポーネント500において、リフレッシュ時間間隔の倍数はひし形によって指定され、それぞれの間隔が下に表示される。したがって、左から右へ、0ミリ秒、33ミリ秒、67ミリ秒、100ミリ秒、および133ミリ秒のリフレッシュ時間間隔のひし形が示される。簡略化のために、ユーザインターフェースコンポーネントは、133ミリ秒よりも長いリフレッシュ時間間隔の表現を明示的に示さない。それにもかかわらず、いくつかの実施形態では、この倍数のシーケンスは、1000または2000ミリ秒などの何らかの任意の高い値を続けることができる。

ユーザインターフェースコンポーネント500は、任意の露光時間間隔がスライダ502の幅によって選択可能であるかどうかを示す。たとえば、スライダ502のセクション506は厚く、任意の露光時間間隔が選択され得ることを示している。一方、スライダ502のセクション508は薄く、ひし形によって表される露光時間間隔のみが選択され得ることを示している。したがって、ユーザがバー504をセクション508において33ミリ秒と67ミリ秒との間のポイントに移動しようとすると、ユーザインターフェースはそのような値が選択されないようにすることができ、および/またはバー504をスライダ502上の最も近いひし形に自動的に移動させることができる。

上述のように、リフレッシュ時間間隔より短い「任意の」露光時間間隔が選択され得るが、いくつかの実装形態では、これらの露光時間間隔は離散値に限定され得る。たとえば、スライダ502のセクション506において、バー504は、最も近い秒、0.5秒、0.25秒などに丸められた値を選択することしかできない場合がある。

ユーザインターフェースコンポーネント500は、ユーザインターフェースがユーザに露光時間間隔をどのように選択させることができるかの1つの可能な表現にすぎない。同じまたは類似の機能を達成するために、他のユーザインターフェースコンポーネント、設計、レイアウト、またはトポロジが利用され得る。たとえば、ダイヤル、ノブ、スクロールバー、テキストボックス、または他のタイプのユーザインターフェースコンポーネントが、本明細書の機能をサポートするように配置され得る。さらに、ユーザインターフェースコンポーネント500は、デジタルカメラ、スマートフォン、タブレットコンピュータ、ウェアラブルコンピューティングデバイスなどの様々なタイプのカメラデバイス上に現れることができる。

代替の実施形態では、それらの露光時間間隔がリフレッシュ時間間隔よりも長い場合であっても、任意の露光時間間隔が選択され得る。これは、そのようなキャプチャされた画像に合成ゲイン(デジタルまたはアナログ)を適用することによって達成され得る。

たとえば、nを所望の露光時間間隔とし、rをリフレッシュ時間間隔とし、n>rとする。リフレッシュ時間間隔は、図4の配置のように、キャプチャされた画像の露光時間間隔でもある。露光時間間隔当たりの全リフレッシュ時間間隔の数は、f=αrで表され、αは1以上の整数である。αの値はまた、ライブの合成長時間露光画像を形成するために組み合わされるべき、キャプチャされた画像の数を表す。

一例として、n=87ミリ秒、およびr=33.33ミリ秒と仮定する。露光時間間隔nには、2つの全リフレッシュ時間間隔rがある。したがって、α=2、f=2r=66.66となる。最も近い整数f=67に丸められる。

nとfとの間の差は20ミリ秒である。これは、nの露光時間間隔の輝度を正確に表すために、2つのキャプチャされた画像に適用されるべき合成ゲインの量を表す。このゲインをキャプチャされた画像に均等に分割すると、1画像あたりのゲインが以下のようになる。
g=(n-f)/α
上記の例では、gの値は1画像あたり10ミリ秒である。

しかしながら、各キャプチャされた画像の画素に適用するために、この値を乗算器として表現することができると便利である。α=f/rであるので、ゲインは
g=r(n-f)/f
で表わされ得る。

ゲインのスケーリングされた乗数mは、以下により与えられる。

上記の例では、mは約1.3である。したがって、43.33ミリ秒の合成露光量の画像を作成するために、2つのキャプチャされた画像の各々の画素輝度に1.3が掛けられ得る。図4の手順に従って集約画像を形成するために合計した場合、結果は、86.66ミリ秒の合成長時間露光であり、n=87ミリ秒の所望の長時間露光に近似している。

好都合なことに、これらの式は、nがrの倍数である場合にも機能するので、この技法は、rより大きい、またはrと等しい任意のnの値に対して使用され得る。たとえば、n=100ミリ秒、およびr=33.33ミリ秒と仮定する。項(n-f)/fは、n=fであるので0になり、合成ゲインは画像に適用されない。

図6は、任意の合成長時間露光時間間隔の選択を容易にする、例示的なユーザインターフェースコンポーネント600を示す。ユーザインターフェースコンポーネント600は、選択可能な露光時間間隔の範囲を表すスライダ602を含む。バー604はデフォルトまたは選択された露光時間間隔を表し、この露光時間間隔の値はすぐ下に示される(この場合、露光時間は90ミリ秒である)。

ユーザインターフェースコンポーネント500の場合と同様に、ユーザインターフェースコンポーネント600は、リフレッシュ時間間隔の倍数をひし形として表示し、それぞれの間隔が下に表示される。しかし、ユーザインターフェースコンポーネント500とは異なり、任意の露光時間間隔が選択可能である。ここでもまた、いくつかの実装形態では、これらの「任意の」露光時間間隔は離散値に限定され得る。

ユーザインターフェースコンポーネント600は、ユーザインターフェースがユーザに任意の合成長時間露光時間間隔をどのように選択させることができるかの1つの可能な表現にすぎない。同じまたは類似の機能を達成するために、他のユーザインターフェースコンポーネント、設計、レイアウト、またはトポロジが利用され得る。

4.例示的な動作
図7は、例示的な実施形態を示すフローチャートである。この実施形態は、デジタルカメラデバイス100などのコンピューティングデバイスによって実行され得る。しかしながら、この実施形態の1つまたは複数の態様は、他のタイプのデバイスまたはデバイスサブシステムによって実行され得る。さらに、この実施形態は、本明細書または添付図面に開示された任意の態様または特徴と組み合わされてもよく、それを組み込んでもよい。

特に、図7のステップまたはブロックは、図面に示されたもの以外の順序で生じ得る。特に、様々な実施形態では、ブロック702、704、および706は、異なる順序で配列され得る(たとえば、図8に示される実施形態を参照)。

図7のブロック700は、画像キャプチャデバイスの画像センサによって、画像をキャプチャするステップを含み得る。

ブロック702は、2つ以上の以前にキャプチャされた画像のバッファに、キャプチャされた画像を記憶するステップを含み得る。キャプチャされた画像および2つ以上の以前にキャプチャされた画像は、同じシーンまたは類似のシーンの画像であり得る。たとえば、画像センサは、これらの画像をキャプチャするときに同じ一般的な方向を向いていてもよい。

ブロック704は、バッファから、2つ以上の以前にキャプチャされた画像のうちの最も古い画像を除去するステップを含み得る。

ブロック706は、バッファ内の画像の集約画像をアップデートするステップを含み得る。このアップデートするステップは、集約画像から最も古い画像の表現を差し引き、キャプチャされた画像の表現を集約画像に追加するステップを含み得る。したがって、集約画像は、バッファ内の画像の加法的表現であり得る。

ブロック708は、画像キャプチャデバイスのビューファインダ上に、集約画像の表現を表示するステップを含み得る。この表現は、ビューファインダリフレッシュ時間間隔ごとに一度リフレッシュされ得る。いくつかの実施形態では、ビューファインダが集約画像の表現を表示している間に、画像センサはさらなる画像をキャプチャし得、次に、その画像はバッファ内に配置され、集約画像に追加され得る。

集約画像をアップデートするステップは、集約画像に画像安定化を適用するステップを含み得る。画像安定化の一例として、たとえば、飛行中のサッカーボールの画像のシーケンスを記録するために、ハンドヘルド画像キャプチャデバイス(たとえば、スマートフォン)が使用され得る。しかしながら、画像キャプチャデバイスのユーザが手を振っている場合、得られるビデオシーケンスはフレーム間ジッタを示すことがある。このジッタを低減するために、これらの画像の2つ以上の中のサッカーボールの位置が一致され得る。次いで、ジッタを補償するために画像シーケンスが調整され、サッカーボールが滑らかな弧を描いて動くように見せることができる。しかしながら、動きがほとんどまたはまったくない静的シーンにも画像安定化が適用され得る。

いくつかの実施形態では、画像キャプチャデバイスのビューファインダは、リフレッシュ時間間隔によって定義されるリフレッシュレートを有する。集約画像の表現は、合成露光時間間隔によって定義される合成露光長を有し得、合成露光時間間隔はリフレッシュ時間間隔よりも長い。場合によっては、合成露光時間間隔は少なくとも1000ミリ秒であり得、リフレッシュ時間間隔は150ミリ秒未満であり得る。たとえば、合成露光時間間隔は2000ミリ秒であり得、リフレッシュ時間間隔は33ミリ秒、67ミリ秒、または133ミリ秒であり得る。他の値も可能である。

バッファは、少なくとも15枚の以前にキャプチャされた画像をキャプチャの時間順に記憶し得る。しかしながら、より多数または少数の以前にキャプチャされた画像がバッファに記憶されてもよく、バッファに記憶された以前にキャプチャされた画像の数は、合成露光時間間隔とリフレッシュ時間間隔の比に基づき得る。

いくつかの実施形態では、合成露光時間間隔は、リフレッシュ時間間隔の整数倍であり得る。これらの実施形態では、画像キャプチャデバイスは、リフレッシュ時間間隔の異なる整数倍である複数の可能な合成露光時間間隔からの合成露光時間間隔の選択を受信するように構成された1つまたは複数のユーザインターフェースコンポーネントを提供し得る。特に、ユーザインターフェースは、合成露光時間間隔の選択を、リフレッシュ時間間隔の整数倍であるものに限定し得る。場合によっては、そのような選択の受信に応答して、画像キャプチャデバイスは、合成露光時間間隔を選択されたように設定し得る。

さらなる実施形態では、合成露光時間間隔は、リフレッシュ時間間隔の実数倍である。これらの実施形態では、画像キャプチャデバイスは、リフレッシュ時間間隔の異なる実数倍である複数の可能な合成露光時間間隔からの合成露光時間間隔の選択を受信するように構成された1つまたは複数のユーザインターフェースコンポーネントを提供し得る。特に、ユーザインターフェースは、リフレッシュ時間間隔の整数倍または実数倍である合成露光時間間隔の選択を容易にし得る。場合によっては、そのような選択の受信に応答して、画像キャプチャデバイスは、合成露光時間間隔を選択されたように設定し得る。

いくつかの実施形態では、nは合成露光時間間隔を表し得、fは合成露光時間間隔におけるすべてのリフレッシュ時間間隔全体の合計長を表し得る。シーンの画像をキャプチャするステップは、キャプチャされた画像に約1+(n-f)/fのアナログゲインまたはデジタルゲインを適用するステップを含み得る。「約」という用語は、ゲインが正確に1+(n-f)/fであり得るか、あるいは設定値(たとえば、0.10または0.25)を超えない、または1+(n-f)/fから特定のパーセンテージ(たとえば、5%、10%、20%)を超えないことを意味する。

いくつかの実施形態では、ゼロシャッタラグ(ZSL)画像キャプチャがサポートされ得る。いくつかの画像キャプチャデバイスにおいては、ビューファインダがシーンの画像を表示している場合であっても、そのシーンの高解像度ペイロード画像は、ユーザが画像キャプチャデバイスのシャッタ機能をトリガするまで、キャプチャされず、保存されない。その時点で、画像キャプチャデバイスは、焦点調節および露光決定(たとえば、自動露光)ステップを実行し得る。その結果、シャッタ機能がトリガされる時と、画像がキャプチャされる時との間に顕著な遅延が生じる可能性がある。

ZSL技術をサポートする画像キャプチャデバイスは、ビューファインダがアクティブであるときに、高解像度ペイロード画像を連続的にキャプチャし得る。シャッタ機能がトリガされると、記憶された画像のうちの1つまたは複数が「キャプチャされた画像」になる。したがって、本明細書の実施形態では、ビューファインダは、画像の高解像度バージョンがペイロード画像として使用され得る一方で、集約画像の低解像度バージョンを表示し得る。このように、集約画像の表示された表現は限定解像度画像であり得、以前にキャプチャされた画像および集約画像は全解像度画像であり得る。これらの実施形態では、画像キャプチャデバイスは、シャッタ機能がトリガされた旨の指示を受信し得、画像キャプチャデバイスは、記憶された集約画像を、1つまたは複数の画像操作アプリケーション(たとえば、フォトギャラリアプリケーション、ソーシャルネットワーキングアプリケーションなど)が利用可能にし得る。

いくつかの実施形態では、画像キャプチャデバイスは、キャプチャされた画像にトーンマッピングを適用する画像処理パイプラインを含む。トーンマッピングは、より小さいダイナミックレンジをサポートする媒体上で、色の大きいダイナミックレンジおよび輝度のレベルをどのように表現するかを決定する様々な技法を含む。これらの技法のうちのいくつかは、画像の隣接領域の、必ずしも正確な色強度ではないが、コントラストを維持するために、人間の脳内でどのように色および輝度が感じられるかを考慮に入れることができる。これは、トーンマッピング曲線を、キャプチャされた画像の一部またはすべての画素値に適用することを必要とすることがある。そうすることで、これらのキャプチャされた画像の「直線性」はもはや持続しないので、集約画像を形成するためにこれらの画像の画素値を合計すると、集約画像の色および/または輝度が歪んでしまうことがある。

本明細書の実施形態がトーンマッピングを使用する画像処理パイプラインに適用され得る少なくとも2つの方法がある。1つの方法では、キャプチャされた画像は、パイプラインからの画像処理なしに、バッファおよび/または集約画像に記憶される。たとえば、キャプチャされた画像が画像処理パイプラインに導入される前に、ライブの合成長時間露光時間間隔を提供する目的でコピーが作成され得る。

あるいは、キャプチャされた画像にトーンマッピングが適用された後、ライブの合成長時間露光時間間隔を提供する目的で元の画像のバージョンを取得するために、この処理が逆にされ得る。したがって、画像キャプチャデバイスは、キャプチャされた画像をバッファに記憶する前にキャプチャされた画像にトーンマッピングを適用する画像処理パイプラインを含み得る。次いで、トーンマッピングが適用された後、かつキャプチャされた画像をバッファに記憶する前に、逆トーンマッピングが画像に適用され得、逆トーンマッピングが画像からトーンマッピングを除去する。

図8は、例示的な実施形態を示すフローチャートである。この実施形態は、デジタルカメラデバイス100などのコンピューティングデバイスによって実行され得る。しかしながら、この実施形態の1つまたは複数の態様は、他のタイプのデバイスまたはデバイスサブシステムによって実行され得る。さらに、この実施形態は、本明細書または添付図面に開示された任意の態様または特徴と組み合わされてもよく、それを組み込んでもよい。たとえば、図7の文脈において論じた特徴、変形、または態様のうちのいずれも、図8と一致する実施形態において使用され得る。

図8のブロック800は、画像キャプチャデバイスの画像センサによって、画像をキャプチャするステップを含み得る。画像キャプチャデバイスは、2つ以上の以前にキャプチャされた画像をバッファに記憶し得る。

ブロック802は、バッファ内の画像の集約画像をアップデートするステップを含み得る。このアップデートするステップは、集約画像からバッファ内の最も古い画像の表現を差し引き、キャプチャされた画像の表現を集約画像に追加するステップを含み得る。したがって、集約画像は、バッファ内の画像の加法的表現であり得る。

ブロック804は、キャプチャされた画像をバッファに記憶するステップを含み得る。ブロック806は、バッファから、2つ以上の以前にキャプチャされた画像のうちの最も古い画像を除去するステップを含み得る。場合によっては、ブロック804および806は、最も古い画像をキャプチャされた画像で上書きすることによって実装され得る。

ブロック808は、画像キャプチャデバイスのビューファインダ上に、集約画像の表現を表示するステップを含み得る。この表現は、ビューファインダリフレッシュ時間間隔ごとに一度リフレッシュされ得る。

5.結論
本開示は、本出願に記載された特定の実施形態に関して限定されるものではなく、様々な態様の例として意図されるものである。当業者には明らかであるように、その範囲から逸脱することなしに、多くの変更および変形が行われ得る。本明細書に列挙したものに加えて、本開示の範囲内の機能的に等価な方法および装置は、前述の説明から当業者には明らかであろう。そのような変更および変形は、添付の特許請求の範囲内に含まれることが意図される。

上記の詳細な説明は、開示されたシステム、デバイス、および方法の様々な特徴および機能を、添付の図面を参照して説明する。本明細書および図面に記載された例示的な実施形態は、限定することを意味するものではない。本明細書に提示される主題の範囲から逸脱することなしに、他の実施形態が利用されてよく、他の変更が行われてよい。本明細書に一般的に記載され、図面に示されるような本開示の態様は、多種多様の異なる構成で配置、置換、結合、分離、および設計され得、それらのすべてが本明細書において明確に企図されることが容易に理解されるであろう。

図面におけるメッセージフロー図、シナリオ、およびフローチャートのいずれかまたはすべてに関して、また本明細書で説明するように、各ステップ、ブロック、および/または通信は、例示的な実施形態による情報の処理および/または情報の送信を表すことができる。代替の実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替の実施形態では、たとえば、ステップ、ブロック、送信、通信、要求、応答、および/またはメッセージとして記載された機能は、関係する機能性に応じて、実質的に並行してまたは逆の順序を含めて、図示または議論された順序とは異なる順序で実行され得る。さらに、本明細書で説明するラダー図、シナリオ、およびフローチャートのうちのいずれかを用いて、より多数またはより少数のブロックおよび/または機能が使用され得、これらのラダー図、シナリオ、およびフローチャートは、部分的または全体的に互いに組み合わされ得る。

情報の処理を表すステップまたはブロックは、本明細書に記載の方法または技法の特定の論理機能を実行するように構成され得る回路に対応することができる。代替的または追加的に、情報の処理を表すステップまたはブロックは、モジュール、セグメント、またはプログラムコードの一部(関連データを含む)に対応することができる。プログラムコードは、方法または技法における特定の論理機能または動作を実施するためにプロセッサによって実行可能な1つまたは複数の命令を含むことができる。プログラムコードおよび/または関連データは、ディスク、ハードドライブ、または他の記憶媒体を含むストレージデバイスなどの、任意のタイプのコンピュータ可読媒体に記憶され得る。

コンピュータ可読媒体はまた、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ(RAM)などの、データを短期間記憶するコンピュータ可読媒体などの非一時的コンピュータ可読媒体を含むことができる。コンピュータ可読媒体はまた、プログラムコードおよび/またはデータをより長期間にわたって記憶する非一時的コンピュータ可読媒体を含むことができる。したがって、コンピュータ可読媒体は、たとえば、読出し専用メモリ(ROM)、光ディスクまたは磁気ディスク、コンパクトディスク読出し専用メモリ(CD-ROM)などの、第2の、または永続的な長期ストレージを含み得る。コンピュータ可読媒体はまた、任意の他の揮発性または不揮発性ストレージシステムであり得る。コンピュータ可読媒体は、たとえば、コンピュータ可読記憶媒体、または有形ストレージデバイスと考えられ得る。

さらに、1つまたは複数の情報送信を表すステップまたはブロックは、同じ物理デバイス内のソフトウェアおよび/またはハードウェアモジュール間の情報送信に対応することができる。しかしながら、他の情報送信は、異なる物理デバイス内のソフトウェアモジュールおよび/またはハードウェアモジュール間であってもよい。

図面に示される特定の配置は、限定的であると見なされるべきではない。他の実施形態は、所与の図面に示される各要素のより多数またはより少数を含むことができることを理解されたい。さらに、図示された要素のうちのいくつかは、組み合わされてもよく、省略されてもよい。さらに、例示的な実施形態は、図面に示されていない要素を含むことができる。

さらに、本明細書または特許請求の範囲における要素、ブロック、またはステップのあらゆる列挙は、明瞭にするためのものである。したがって、そのような列挙は、これらの要素、ブロック、またはステップが特定の配置に従うこと、あるいは特定の順序で実行されることを必要とするまたは暗示すると解釈されるべきではない。

様々な態様および実施形態が本明細書に開示されているが、他の態様および実施形態は当業者には明らかであろう。本明細書に開示された様々な態様および実施形態は例示のためのものであり、限定することが意図されるものではなく、真の範囲は、添付の特許請求の範囲によって示される。

100 デジタルカメラデバイス
102 本体
104 前面カメラ
106 多素子ディスプレイ
108 シャッタボタン
110 他のボタン
112 背面カメラ
200 コンピューティングデバイス
202 通信インターフェース
204 ユーザインターフェース
206 プロセッサ
208 データストレージ
210 接続メカニズム
212 データ
214 アプリケーションデータ
216 オペレーティングシステムデータ
218 プログラム命令
220 アプリケーションプログラム
222 オペレーティングシステム
224 カメラコンポーネント
300 長時間露光画像キャプチャ
302 ビューファインダリフレッシュ
304 ビューファインダディスプレイ
400 バッファ
500 ユーザインターフェースコンポーネント
502 スライダ
504 バー
506 セクション
508 セクション
600 ユーザインターフェースコンポーネント
602 スライダ
604 バー
700 ブロック
702 ブロック
704 ブロック
706 ブロック
708 ブロック
800 ブロック
802 ブロック
804 ブロック
806 ブロック
808 ブロック

Claims (17)

1. 画像キャプチャデバイスの画像センサによって、シーンの画像をキャプチャするステップと、
   前記シーンの2つ以上の以前にキャプチャされた画像のバッファに、前記キャプチャされた画像を記憶するステップと、
   前記バッファから、前記2つ以上の以前にキャプチャされた画像のうちの最も古い画像を除去するステップと、
   前記バッファに格納された前記画像から導出された集約画像をアップデートするステップであって、前記集約画像が、前記バッファ内に格納された前記2つ以上の画像の画素値のランニングサムに基づき、アップデートする前記ステップが、前記集約画像から最も古い画像の表現を差し引き、前記キャプチャされた画像の表現を前記集約画像に追加するステップを含み、前記ランニングサムが、前記シーンのライブの合成露光を表す、ステップと、
   前記画像キャプチャデバイスのビューファインダ上に、前記集約画像の表現を表示するステップと
   を含み、
   前記画像キャプチャデバイスの前記ビューファインダが、リフレッシュ時間間隔によって定義されるリフレッシュレートを有し、前記集約画像の前記表現が、合成露光時間間隔によって定義される合成露光長を有し、前記合成露光時間間隔が前記リフレッシュ時間間隔よりも長く、
   前記キャプチャされた画像が、前記合成露光時間間隔と前記合成露光時間間隔におけるすべてのリフレッシュ時間間隔全体の合計長とに基づく合成ゲインを適用される、方法。
2. 前記集約画像の前記表現を表示しながら、前記シーンのさらなる画像をキャプチャするステップをさらに含む、請求項1に記載の方法。
3. 前記合成露光時間間隔が少なくとも1000ミリ秒であり、前記リフレッシュ時間間隔が150ミリ秒未満である、請求項1に記載の方法。
4. 前記合成露光時間間隔が、前記リフレッシュ時間間隔の整数倍である、請求項1に記載の方法。
5. 前記画像キャプチャデバイスによって、前記リフレッシュ時間間隔の異なる整数倍である複数の可能な合成露光時間間隔からの前記合成露光時間間隔の選択を受信するように構成された1つまたは複数のユーザインターフェースコンポーネントを提供するステップと、
   前記合成露光時間間隔を選択されたように設定するステップと、
   をさらに含む、請求項4に記載の方法。
6. 前記合成露光時間間隔が、前記リフレッシュ時間間隔の実数倍である、請求項1に記載の方法。
7. 前記画像キャプチャデバイスによって、前記リフレッシュ時間間隔の異なる実数倍である複数の可能な合成露光時間間隔からの前記合成露光時間間隔の選択を受信するように構成された1つまたは複数のユーザインターフェースコンポーネントを提供するステップと、
   前記合成露光時間間隔を選択されたように設定するステップと、
   をさらに含む、請求項6に記載の方法。
8. nが前記合成露光時間間隔を表し、fが前記合成露光時間間隔におけるすべてのリフレッシュ時間間隔全体の合計長を表し、前記シーンの前記画像をキャプチャするステップが、
   前記キャプチャされた画像に約1+(n-f)/fのゲインを適用するステップを含む、請求項6に記載の方法。
9. 前記バッファが、少なくとも15枚の以前にキャプチャされた画像をキャプチャの時間順に記憶する、請求項1に記載の方法。
10. 前記集約画像の前記表示された表現が低解像度画像であり、前記以前にキャプチャされた画像および前記集約画像が、前記低解像度画像よりも高い解像度を有する高解像度画像であり、前記方法が、
    シャッタ機能がトリガされた旨の指示を前記画像キャプチャデバイスによって受信するステップと、
    前記集約画像が1つまたは複数の画像操作アプリケーションに利用可能になるように、前記画像キャプチャデバイスのメモリに前記集約画像を記憶するステップと
    をさらに含む、請求項1に記載の方法。
11. 前記画像キャプチャデバイスが、キャプチャされた画像にトーンマッピングを適用する画像処理パイプラインを含み、前記キャプチャされた画像が、前記画像処理パイプラインからの画像処理なしに前記バッファに記憶される、請求項1に記載の方法。
12. 前記画像キャプチャデバイスが、キャプチャされた画像を前記バッファに記憶する前に前記キャプチャされた画像にトーンマッピングを適用する画像処理パイプラインを含み、前記方法が、
    トーンマッピングが適用された後、かつ前記キャプチャされた画像を前記バッファに記憶する前に、逆トーンマッピングを前記画像に適用するステップであって、前記逆トーンマッピングが前記画像から前記トーンマッピングを除去する、ステップ、
    をさらに含む、請求項1に記載の方法。
13. 前記集約画像をアップデートするステップが、前記集約画像に画像安定化を適用するステップを含む、請求項1に記載の方法。
14. プログラム命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記プログラム命令は、画像キャプチャデバイスによる実行時に、前記画像キャプチャデバイスに、
    前記画像キャプチャデバイスの画像センサによって、シーンの画像をキャプチャする動作と、
    前記シーンの2つ以上の以前にキャプチャされた画像のバッファに、前記キャプチャされた画像を記憶する動作と、
    前記バッファから、前記2つ以上の以前にキャプチャされた画像のうちの最も古い画像を除去する動作と、
    前記バッファに格納された前記画像から導出された集約画像をアップデートする動作であって、前記集約画像が、前記バッファ内に格納された前記2つ以上の画像の画素値のランニングサムに基づき、前記アップデートする動作が、前記集約画像から最も古い画像の表現を差し引き、前記キャプチャされた画像の表現を前記集約画像に追加することを含み、前記ランニングサムが、前記シーンのライブの合成露光を表す、動作と、
    前記画像キャプチャデバイスのビューファインダ上に、前記集約画像の表現を表示する動作と
    を含む動作を実行させ、
    前記画像キャプチャデバイスの前記ビューファインダが、リフレッシュ時間間隔によって定義されるリフレッシュレートを有し、前記集約画像の前記表現が、合成露光時間間隔によって定義される合成露光長を有し、前記合成露光時間間隔が前記リフレッシュ時間間隔よりも長く、
    前記キャプチャされた画像が、前記合成露光時間間隔と前記合成露光時間間隔におけるすべてのリフレッシュ時間間隔全体の合計長とに基づく合成ゲインを適用される、非一時的コンピュータ可読記憶媒体。
15. 前記動作が、
    前記リフレッシュ時間間隔の異なる整数倍である複数の可能な合成露光時間間隔からの前記合成露光時間間隔の選択を受信するように構成された1つまたは複数のユーザインターフェースコンポーネントを提供する動作と、
    前記合成露光時間間隔を選択されたように設定する動作と、
    をさらに含む、請求項14に記載の非一時的コンピュータ可読記憶媒体。
16. 前記動作が、
    前記リフレッシュ時間間隔の異なる実数倍である複数の可能な合成露光時間間隔からの前記合成露光時間間隔の選択を受信するように構成された1つまたは複数のユーザインターフェースコンポーネントを提供する動作と、
    前記合成露光時間間隔を選択されたように設定する動作と、
    をさらに含む、請求項14に記載の非一時的コンピュータ可読記憶媒体。
17. 画像キャプチャデバイスであって、
    画像センサと、
    ビューファインダと、
    プロセッサと、
    メモリと、
    前記メモリに記憶され、前記プロセッサによる実行時に、前記画像キャプチャデバイスに、
    前記画像センサによって、シーンの画像をキャプチャする動作と、
    前記シーンの2つ以上の以前にキャプチャされた画像のバッファに、前記キャプチャされた画像を記憶する動作と、
    前記バッファから、前記2つ以上の以前にキャプチャされた画像のうちの最も古い画像を除去する動作と、
    前記バッファに格納された前記画像から導出された集約画像をアップデートする動作であって、前記集約画像が、前記バッファ内に格納された前記2つ以上の画像の画素値のランニングサムに基づき、前記アップデートする動作が、前記集約画像から最も古い画像の表現を差し引き、前記キャプチャされた画像の表現を前記集約画像に追加することを含み、前記ランニングサムが、前記シーンのライブの合成露光を表す、動作と、
    前記ビューファインダ上に、前記集約画像の表現を表示する動作と、
    を含む動作を実行させるプログラム命令と
    を備え、
    前記画像キャプチャデバイスの前記ビューファインダが、リフレッシュ時間間隔によって定義されるリフレッシュレートを有し、前記集約画像の前記表現が、合成露光時間間隔によって定義される合成露光長を有し、前記合成露光時間間隔が前記リフレッシュ時間間隔よりも長く、
    前記キャプチャされた画像が、前記合成露光時間間隔と前記合成露光時間間隔におけるすべてのリフレッシュ時間間隔全体の合計長とに基づく合成ゲインを適用される、画像キャプチャデバイス。