JP7186672B2 - マルチスコピック雑音削減およびハイ・ダイナミック・レンジのためのシステムおよび方法 - Google Patents

Description

関連出願の記載
本願は、２０１５年１２月７日に出願された米国特許出願番号第１４／９６１、１０２号に対する優先権を主張し、参照により全体として本明細書に組み込む。

マルチスコピック・イメージング・システムは、シーンの複数の画像をキャプチャするように動作可能である。幾つかのケースでは、当該キャプチャされた画像は、異なる視点から、異なる参照角度から、および／または異なる期間にわたって撮像された当該シーンからの共通要素を含んでもよい。さらに、画像補正を、キャプチャされた画像からの当該共通要素に基づいて当該複数の画像のうち少なくとも１つに適用してもよい。

本開示における実施形態は、立体、およびより一般に、マルチスコピック・イメージング（multiscopic imaging）システムにおける画像品質を改善するための方法およびシステムに関する。立体イメージング・システムからの画像ペアが、画像視差を補正するために、空間的に整列され、ワープされてもよい。当該整列されワープされた画像ペアが「スタックされて」もよい。雑音削減アルゴリズムを当該スタックされた画像に適用してもよい。ハイ・ダイナミック・レンジ・アルゴリズムを１つまたは複数の雑音除去された画像に適用してもよい。

視差の高速で、高解像度な推定を、同時にキャプチャされた画像ペア、または画像バーストに適用される堅牢なバースト雑音除去およびＨＤＲ処理と組み合わせることは、単一のカメラからのバーストを用いて可能なものよりも短い時間で、高解像度で低雑音な画像を提供しうる。

１態様では、方法が提供される。当該方法は、コンピューティング・システムにより、バースト画像データを受信するステップであって、当該バースト画像データは第１の画像キャプチャ・システムにより生成される第１の画像データおよび第２の画像キャプチャ・システムにより生成される第２の画像データを含み、第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムの各光軸はベースライン距離により分離され、第１の画像データおよび第２の画像データは少なくとも１つの画像ペアを含む、ステップを含む。当該方法はさらに、当該コンピューティング・システムにより、当該バースト画像データの視差を当該ベースライン距離に少なくとも基づいて決定するステップと、第１の画像データまたは第２の画像データのうち少なくとも１つを当該決定された視差に従って調節して、ワープされた画像スタックを提供するステップを含む。当該方法はさらに、バーストノイズ除去アルゴリズムに従って少なくとも１つの出力画像を生成するステップであって、当該バーストノイズ除去アルゴリズムは当該ワープされた画像スタックの加重平均を決定するステップを含む、ステップを含む。当該方法は場合によっては当該コンピューティング・システムにより、少なくとも１つの整形ホモグラフィ関数を決定するステップであって、当該少なくとも１つの整形ホモグラフィ関数は、当該複数の画像ペアの夫々の画像ペアを整列するように構成される、ステップと、当該少なくとも１つの整形ホモグラフィ関数に従って第１の画像データまたは第２の画像データのうち少なくとも１つを調節するステップとを含む。場合によっては、第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムの各光軸は実質的に同一の方向を向く。

１態様では、システムが提供される。当該システムは複数の画像キャプチャ・システムを含む。当該複数の画像キャプチャ・システムは少なくとも第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムを含み、第１の画像キャプチャ・システムは第１の画像データをキャプチャするように動作可能であり、第２の画像キャプチャ・システムは第２の画像データをキャプチャするように動作可能であり、第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムの各光軸はベースライン距離により分離され、第１の画像データおよび第２の画像データは少なくとも１つの画像ペアを有するバースト画像データを含む。当該システムはさらにメモリおよびプロセッサを備えたコントローラを含む。当該メモリは、命令を含むように構成され、プロセッサは、当該命令を実行して、方法を提供する上の態様に従う方法を実行するように構成される。

１態様では、システムが提供される。当該システムは複数の画像キャプチャ・システムを含む。当該複数の画像キャプチャ・システムは少なくとも第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムを含む。第１の画像キャプチャ・システムは第１の画像データをキャプチャするように動作可能であり、第２の画像キャプチャ・システムは第２の画像データをキャプチャするように動作可能である。第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムの各光軸はベースライン距離により分離される。第１の画像データおよび第２の画像データは少なくとも１つの画像ペアを有するバースト画像データを含む。当該システムはまた、コントローラを含む。当該コントローラはメモリおよびプロセッサを含む。当該メモリは命令を含むように構成され、当該プロセッサは、当該命令を実行して動作を実施するように構成される。当該動作は、当該バースト画像データを当該複数の画像キャプチャ・システムから受信するステップを含む。当該動作はまた、当該バースト画像データの視差を当該ベースライン距離に少なくとも基づいて決定するステップを含む。当該動作はさらに、第１の画像データまたは第２の画像データのうち少なくとも１つを当該決定された視差に従って調節して、ワープされた画像スタックを提供するステップを含む。当該動作はまた、バーストノイズ除去アルゴリズムに従って少なくとも１つの出力画像を生成するステップを含む。当該バーストノイズ除去アルゴリズムは当該ワープされた画像スタックの加重平均を決定するステップを含む。当該動作はさらに場合によっては、当該コンピューティング・システムにより、少なくとも１つの整形ホモグラフィ関数を決定するステップであって、当該少なくとも１つの整形ホモグラフィ関数は、当該複数の画像ペアの夫々の画像ペアを整列するように構成されるステップと、当該少なくとも１つの整形ホモグラフィ関数に従って第１の画像データまたは第２の画像データのうち少なくとも１つを調節するステップとを含んでもよい。

１態様では、方法が提供される。当該方法はコンピューティング・システムにより、バースト画像データを受信するステップを含む。当該バースト画像データは、第１の画像キャプチャ・システムにより生成される第１の画像データおよび第２の画像キャプチャ・システムにより生成される第２の画像データを含む。第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムの各光軸はベースライン距離により分離され、実質的に同一方向を向く。第１の画像データおよび第２の画像データは少なくとも１つの画像ペアを含む。当該方法は当該コンピューティング・システムにより、少なくとも１つの整形ホモグラフィ関数を決定するステップを含む。当該少なくとも１つの整形ホモグラフィ関数は、当該複数の画像ペアの夫々の画像ペアを整列するように構成される。当該方法はまた、当該少なくとも１つの整形ホモグラフィ関数に従って第１の画像データまたは第２の画像データのうち少なくとも１つを調節するステップを含む。当該方法はさらに、当該コンピューティング・システムにより、当該バースト画像データの視差を当該ベースライン距離に少なくとも基づいて決定するステップを含む。当該方法はさらに、第１の画像データまたは第２の画像データのうち少なくとも１つを当該決定された視差に従って調節して、ワープされた画像スタックを提供するステップを含む。当該方法は、バーストノイズ除去アルゴリズムに従って少なくとも１つの出力画像を生成するステップを含む。当該バーストノイズ除去アルゴリズムは当該ワープされた画像スタックの加重平均を決定するステップを含む。

各態様は以下の任意の特徴を含んでもよい。当該少なくとも１つの整形ホモグラフィ関数は幾何画素補正関数および光度計画素補正関数を含んでもよい。当該バースト画像データの視差を決定するステップは、第１の画像データ、第２の画像データ、およびベースライン距離に基づいて視差関数を推定するステップを含んでもよい。当該決定された視差に従って第１の画像データまたは第２の画像データのうち少なくとも１つを調節するステップは、当該推定された視差関数の逆を第１の画像データまたは第２の画像データのうち少なくとも１つに適用するステップを含んでもよい。加重平均は、ワープされた画像スタックの対応する画素の画素単位平均を含んでもよい。当該方法はさらに、ハイ・ダイナミック・レンジ（ＨＤＲ）関数を当該少なくとも１つの出力画像に適用して少なくとも１つのＨＤＲ出力画像を提供するステップを含んでもよい。第１の画像キャプチャ・システムは、カラー・フィルタ・アレイに光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システムはカラー・フィルタ・アレイなしの画像センサを含んでもよい。当該バースト画像データは生画像フォーマット、ＷｅｂＰ画像フォーマット、またはＪＰＥＧ画像フォーマットの少なくとも１つに従ってフォーマットされた画像を含んでもよい。当該バースト画像データは２から１００個の間の画像を含んでもよい。第１の画像キャプチャ・システムはロー・パス・フィルタに光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システムはロー・パス・フィルタのない画像センサを含んでもよい。第１の画像キャプチャ・システムは第１の焦点距離を有する光学機器に光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システムは第２の焦点距離を有する光学機器に光学的に接続された画像センサを含んでもよい。第１の焦点距離と第２の焦点距離は異なる。当該複数の画像キャプチャ・システムを形状の境界に沿って配置してもよく、当該形状はリング、ディスク、または球のうち１つを含む。当該コンピューティング・システムは、少なくとも１つのプログラム可能回路内シリアルプログラミング（ＩＣＳＰ）マイクロコントローラを含むコントローラを備えてもよい。

１態様では、実行されたときコンピュータに本明細書で説明した態様の何れかに従う動作を実施させるプロセッサ実行可能命令を含むコンピュータ可読媒体が提供される。

上述の態様は、画像キャプチャ・システムにおける雑音削減に関連する課題を解決することを目的とする。

他の態様、実施形態、および実装は、必要に応じて添付図面を参照して以下の詳細な説明を読むことで当業者には明らかになろう。

例示的な実施形態に従うシステムを示す図である。 例示的な実施形態に従うシステムを示す図である。 例示的な実施形態に従う画像キャプチャ・シナリオを示す図である。 例示的な実施形態に従う画像キャプチャ・シナリオを示す図である。 例示的な実施形態に従う画像キャプチャ・シナリオを示す図である。 例示的な実施形態に従う流れ図を示す図である。 例示的な実施形態に従う方法を示す図である。

概要
本開示は、ステレオおよびマルチスコピック・カメラシステムにおける雑音削減およびハイ・ダイナミック・レンジを提供する方法およびシステムに関する。

特に携帯電話カメラのような消費者デバイス向けのデジタル撮影の品質は、小型のセンサおよび開口サイズにより制限されうる。かかる特性はキャプチャできる光子の数を制限する可能性があり、これが、「ショット雑音」またはセンサ画素により吸収される光子の数におけるランダムな分散を比例的に増大させる。シャッタ長を増大させるとこの雑音が減るが、おそらくモーション・ブラーの増大という代償を払うことになる。

別の制約は携帯電話カメラ画像の狭いダイナミックレンジである。非常に明るいオブジェクトおよび非常に暗いオブジェクトが同一のシーンに存在するとき、センサ画素のダイナミックレンジは明るい画像領域および暗い画像領域の両方における細部を適切にキャプチャできないかもしれず、過度に飽和した画像または不飽和の画像が生ずる。高品質カメラはより多くのビット深度画像を読み出し得るセンサを使用するが、それらには依然として制約がある。

これらの課題の両方に対する可能な解決策はバースト撮影であり、当該撮影においては、単一の写真を撮るのではなく、カメラは高速にＮ枚の写真を撮影する。これらのＮ個の画像はついで様々なアルゴリズムの１つを用いてマージされ、その結果、画素ごとにより少ない雑音およびより広いダイナミックレンジが生ずる。課題は、Ｎ枚の写真のバーストは単一の写真につきＮ回を要し、これがユーザエクスペリエンスに否定的に影響し、キャプチャ中のシーン動きの量を増大させることである。

本明細書で説明したように、バースト撮影が立体カメラシステムまたはマルチスコピック・カメラシステムにより実施されてもよい。当該バースト画像データがより高品質の出力画像を提供するために整形され、ワープされ、および雑音除去されてもよい。かかるシナリオでは、高解像度で低雑音の画像が単一の画像センサバーストの半分の時間（またはそれ未満）で生成されうる。

例示的な実施形態では、立体カメラシステムはバースト画像データをキャプチャしてもよい。当該画像「バースト」は、当該カメラの各画像センサにより矢継ぎ早にキャプチャされた１乃至１０個の画像を含んでもよい。即ち、当該バースト画像データは、複数の画像ペアを含む（例えば、第１の画像センサからの）第１の画像データおよび（例えば、第２の画像センサからの）第２の画像データを含んでもよい。当該画像ペアは、第１のおよび第２の画像センサにより順序において実質的に同時にキャプチャされた第１のおよび第２の画像データからの対応する画像を含んでもよい。当該バースト画像データが、生画像フォーマット、ＷｅｂＰ画像フォーマット、ＪＰＥＧ画像フォーマット、または別のタイプの画像フォーマットに従ってフォーマットされた画像を含んでもよい。さらに、幾つかの実施形態では、当該バースト画像データは２から１００個の間の画像を含んでもよい。

画像ペアごとに、少なくとも１つの整形ホモグラフィ関数が当該システムのコントローラにより決定されてもよい。当該整形ホモグラフィ関数（複数可）が、当該画像ペアの２つの画像が空間的に整列されるように、当該画像ペアの一方のまたは両方の画像を調整するように決定されてもよい。整形ホモグラフィ関数（複数可）がカメラの「工場」較正に基づいて決定されてもよい。さらにまたは代替的に、整形ホモグラフィ関数（複数可）が別のタイプの較正に基づいて決定されてもよい。例示的な実施形態では、整形ホモグラフィ関数（複数可）が幾何画素補正関数および光度計画素補正関数を含んでもよい。

幾つかの実施形態では、当該少なくとも１つの整形ホモグラフィ関数の決定および当該ホモグラフィ関数に基づく画像（複数可）の調整を行う必要はない。例えば、当該画像ペアの２つの画像を、他の技術を介して整列または登録してもよい。当該他の画像配列／登録技術は、並進的整列(translational alignment)（例えば、ＸおよびＹの並進のみ）または類似性整列(similarity alignment)を含んでもよいがこれらに限られない。さらに、本明細書で開示した整列技術が、線形変換（例えば、回転、拡大、変換等）および／または非剛直変換（例えば、参照画像と整列するための画像のローカルワーピング）を含んでもよい。かかる非剛直変換は「オプティカル・フロー」変換を含んでもよい。

当該コントローラが、少なくともベースライン距離に基づいてバースト画像データの視差を決定するように構成されてもよい。当該視差が３次元画像処理方法の一部として決定されてもよい。例示的な実施形態では、当該視差の決定が、第１の画像データ、第２の画像データ、およびベースライン距離に基づいて視差関数を推定するステップを含んでもよい。

当該コントローラが各画像ペアの少なくとも１つの画像を当該決定された視差に従ってワープしてもよい。即ち、当該コントローラは、当該各画像ペアの少なくとも１つの画像を、それが実質的に当該画像ペアの対応する画像にマッチするように調節してもよい。例示的な実施形態では、当該コントローラは、ベース画像を、当該画像ペアからまたはより一般には当該バースト画像データから選択してもよい。かかるシナリオでは、当該コントローラは、実質的に当該ベース画像にマッチするように、当該バースト画像データ内の他の画像の全てまたは少なくとも一部を調節してもよい。即ち、当該バースト画像データの各他の画像を、当該ベース画像にマッチするように調節してもよい。さらに、当該ベース画像に関して、当該バースト画像データの各他の画像が、１）異なる画像キャプチャ・システムにより同一の時点でキャプチャされ、２）同一の画像キャプチャ・システムにより異なる時点でキャプチャされ、または３）異なる画像キャプチャ・システムにより異なる時点でキャプチャされてもよい。

幾つかの例では、かかる画像調整は、推定された視差関数の逆を第１の画像データまたは第２の画像データのうち少なくとも１つに適用するステップを含んでもよい。本明細書のどこかで説明するように、当該画像調整が、当該画像キャプチャ・システムのエピポーラ幾何に関する情報に基づいて、当該バースト画像データの１つまたは複数の画像をワープするステップを含んでもよい。当該バースト画像データのかかる調整および／またはワーピングが、ワープされた画像スタックを形成してもよい。

例示的な実施形態では、当該コントローラが、当該ワープされた画像スタックの画素ごとの加重平均に基づいて少なくとも１つの出力画像を生成してもよい。幾つかの実施形態では、当該コントローラが、当該ワープされた画像スタックからの画素を夫々の画像タイルにグループ化してもよい。かかるシナリオでは、当該コントローラは、当該夫々の画像タイルの加重平均に基づいて当該少なくとも１つの出力画像を生成してもよい。幾つかの実施形態では、当該夫々の画像タイルは他の画像タイルと重複してもしなくてもよい。複数の類似画像に基づく他の雑音除去技術が本明細書で考慮される。

当該コントローラはさらにハイ・ダイナミック・レンジ（ＨＤＲ）関数を当該少なくとも１つの出力画像に適用して少なくとも１つのＨＤＲ出力画像を提供してもよい。

本明細書で考慮するシステムおよび方法は様々な異なるマルチスコピック・イメージング・システムを含んでもよい。例えば、当該イメージング・システムは、カラー・フィルタ・アレイに（例えば、Ｂａｙｅｒフィルタ）光学的に接続された画像センサを有する第１の画像キャプチャ・システムおよびかかるカラー・フィルタ・アレイのない画像センサを有する第２の画像キャプチャ・システムを含んでもよい。代替的にまたはさらに、第１の画像キャプチャ・システムがロー・パス・フィルタに光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システムはがかかるロー・パス・フィルタのない画像センサを含んでもよい。

幾つかの例では、本明細書で考慮するシステムは異なる焦点距離を有する光学機器を伴う画像キャプチャ・システムを含んでもよい。即ち、第１の画像データが第１の焦点距離でキャプチャされ、第２の画像データが第２の焦点距離でキャプチャされて、所与のシーンの異なる「ズーム」レベルを提供してもよい。

例示的な実施形態では、当該複数の画像キャプチャ・システムが様々な方法で配置されてもよい。例えば、当該画像キャプチャ・システムが大抵の立体イメージング・システムのように、直線に沿って配置されてもよい。代替的にまたはさらに、当該画像キャプチャ・システムを形状の境界に沿って配置してもよい。例えば、当該形状はリングまたは球を含んでもよい。かかるシナリオでは、当該画像キャプチャ・システムが３６０度視野をキャプチャするように動作可能であってもよい。他種のマルチスコピック画像キャプチャ・システムが考慮される。

本明細書で説明したコントローラは少なくとも１つのプログラム可能回路内シリアルプログラミング（ＩＣＳＰ）マイクロコントローラを含んでもよい。さらにまたは代替的に、グラフィカル演算装置（ＧＰＵ）のような他種のマイクロプロセッサが本明細書で考慮される。

例示的なシステム
図１Ａは、例示的な実施形態に従うシステム１００を示す。システム１００は第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０を含む。したがって、幾つかの実施形態では、システム１００を立体イメージング・システムと考えてもよい。さらにまたは代替的に、システム１００は画像キャプチャ・システム１３０を含んでもよい。かかるシナリオでは、システム１００をマルチスコピック・イメージング・システムと考えてもよい。

画像キャプチャ・システム１１０および１２０がそれぞれ、電荷結合素子（ＣＣＤ）または金属酸化物半導体（ＭＯＳ）センサのような画像センサを含んでもよい。当該夫々の画像センサは無数の個々の写真センサまたは画素を含んでもよい。例示的な実施形態では、当該夫々の画像センサが３：２のアスペクト比で配置されてもよく、それぞれが３、８７２×２、５９２画素、またはおおよそ１千万画素を含んでもよい。しかし、異なるアスペクト比およびより多くまたは少ない画素を有する多数の他の画像センサが考慮される。

画像キャプチャ・システム１１０および１２０が、デジタル撮影および／またはデジタルビデオ情報を提供するように動作可能であってもよい。即ち、画像キャプチャ・システム１１０および１２０が、立体またはマルチスコピックのデジタル・スチル・カメラおよび／またはデジタル・ビデオ・カメラとして構成されてもよい。画像キャプチャ・システム１１０および１２０は様々な要素を含んでもよい。当該要素は、開口、シャッタ、記録面（例えば、１つまたは複数の画像センサ）、および／またはレンズを含むがこれらに限られない。

当該複数の画像キャプチャ・システムが異なる方位で配置されてもよい。例えば、立体イメージング・システムのシナリオにおいて、画像キャプチャ・システム１１０および１２０がベースライン距離により平行な光軸で分離されてもよい。代替的にまたはさらに、マルチスコピック・イメージング・システムのケースでは、当該複数の画像キャプチャ・システムを形状の境界に沿って配置してもよい。例えば、当該形状はリング、ディスク、または球を含んでもよい。システム１００の当該複数の画像キャプチャ・システムの他の形状および／または配置が可能である。

システム１００はユーザ・インタフェース１４０を含んでもよい。ユーザ・インタフェース１４０はディスプレイ１４２およびコントロール１４４を含んでもよい。ユーザ・インタフェース１４０が、スピーカ、スピーカジャック、オーディオ出力ポート、オーディオ出力デバイス、イヤホン、および／または他の同様なデバイスを介して可聴出力（複数可）を生成するように構成されてもよい。

例示的な実施形態では、ディスプレイ１４２がシステム１００に関する情報を提供するように構成されたビューファインダおよび／または別のディスプレイを含んでもよい。ディスプレイ１４２は多要素発光ダイオード（ＬＥＤ）ディスプレイ、液晶（ＬＣＤ）ディスプレイ、プラズマディスプレイまたは別のタイプのディスプレイを含んでもよい。例示的な実施形態では、ディスプレイ１４２がタッチ・スクリーンであってもよい。かかるシナリオでは、システム１００のユーザが、ディスプレイ１４２と対話することでシステム１００の設定を調節できてもよい。

コントロール１４４は、ユーザが対話できるボタン、スイッチ、ダイヤル、または他種のコントロールを含んでもよい。具体的には、コントロール１４４は、多数の他の可能性のうち、フォーカス、視野、ズーム、シャッタ速度、開口、および／またはＩＳＯを調節するように動作可能なシャッタボタンおよびコントロールを含んでもよい。例示的な実施形態では、当該シャッタボタンが、１つの画像フレームが画像キャプチャ・システム１１０および１２０の各々によりキャプチャされて画像ペアを形成する画像キャプチャ・プロセスをトリガするように動作可能であってもよい。代替的にまたはさらに、当該シャッタボタンが、複数の静的画像またはビデオ・ストリームをトリガするように動作可能であってもよい。さらに、幾つかの実施形態が、他のコントロールを介してまたはコントローラ１５０を介して当該画像キャプチャ・プロセスをトリガするステップを含んでもよい。例えば、当該画像キャプチャ・プロセスがタイマまたはリモートトリガを介してトリガしてもよい。

キャプチャされたデジタル画像が画素の１次元、２次元、または多次元アレイとして表されてもよい。各画素が夫々の画素の色および／または明度を符号化しうる１つまたは複数の値により表されてもよい。例えば、１つの可能な符号化はＹＣｂＣｒ色モデルを使用する。この色モデルでは、Ｙチャネルは画素の明度を表してもよく、ＣｂおよびＣｒチャネルはそれぞれ、当該画素の青色度および赤色度を表してもよい。例えば、これらのチャネルの各々は０から２５５の値をとりうる。したがって、画素の明度を、当該画素が黒であるかまたは黒に近い場合は０または０に近い値で表してもよく、当該画素が白または白に近い場合には２５５または２５５に近い値で表してもよい。しかし、２５５の値は非限定的な参照点であり、幾つかの実装では異なる最大値（例えば、１０２３、４０９５等）を使用してもよい。

赤緑青（ＲＧＢ）色モデルまたはシアン・マゼンタ・イエロー・キー（ＣＭＹＫ）のような他の色モデルをここでの実施形態で使用してもよい。さらに、画像内の画素が、生の（未圧縮）フォーマット、またはジョイント・フォトグラフィック・エキスパート・グループ（ＪＰＥＧ）、ポータブル・ネットワークグラフィック（ＰＮＧ）、グラフィック交換フォーマット（ＧＩＦ）等のような圧縮フォーマットを含む様々なファイルフォーマットで表されてもよい。

例示的な実施形態では、画像キャプチャ・システム１１０および１２０が、毎秒３０フレーム（ＦＰＳ）の速度で画像フレームをキャプチャするように構成されてもよい。しかし、より高速または低速のフレーム・レートを有する画像キャプチャ・システムが可能である。

さらにまたは代替的に、画像キャプチャ・システム１１０および１２０はバーストフレーム・レートを有する「バースト」キャプチャモードを含んでもよい。当該バーストフレーム・レートが、短期間にわたって通常よりも高速なキャプチャフレーム・レートを含んでもよい。例えば、画像キャプチャ・システム１１０および１２０が３０ＦＰＳの「正常な」フレーム・レートを有するシナリオにおいて、画像キャプチャ・システム１１０および１２０はそれぞれ、バースト画像データを提供するように動作可能であってもよい。当該バースト画像データは、６０ＦＰＳで連続的にキャプチャされた２組の１０個の画像フレーム（各画像キャプチャ・システムから１セット）を含んでもよい。他のバースト画像フレーム量および他のバーストフレーム・レートが可能である。

例示的な実施形態では、画像キャプチャ・システム１１０および１２０が、協調された画像キャプチャを提供するように通信可能におよび／または機械的に接続されてもよい。即ち、夫々の画像フレームが、画像キャプチャ・システム１１０および１２０により実質的に同時に（例えば、同期して）キャプチャされてもよい。実質的に同時にキャプチャされた夫々の画像フレームを画像ペアと称してもよい。

幾つかの実施形態では、本明細書のどこかで説明するように、当該夫々の画像フレームが第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０により同時にキャプチャされる必要はない。しかし、当該夫々の画像フレーム間の相対的なキャプチャ時刻を測定、記録、および使用して、本明細書で説明した様々な画像調整をより容易に相関付けおよび／または決定してもよい。

幾つかの実施形態では、画像キャプチャ・システム１１０および１２０が実質的に同様であってもよく、物理位置および／または方位でのみ異なってもよい。しかし、他の実施形態では、画像キャプチャ・システム１１０および１２０が他の方法で異なってもよい。例えば、第１の画像キャプチャ・システム１１０がカラー・フィルタ・アレイに光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システム１２０がカラー・フィルタ・アレイなしの画像センサを含んでもよい（または逆も成り立つ）。当該カラー・フィルタ・アレイが、その波長に基づいて光を選択的に吸収するように構成されたＢａｙｅｒ色フィルタまたは別のタイプのフィルタを含んでもよい。

例示的な実施形態では、第１の画像キャプチャ・システム１１０がロー・パス・フィルタに光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システム１２０がロー・パス・フィルタのない画像センサを含んでもよい（または逆も成り立つ）。

さらにまたは代替的に、第１の画像キャプチャ・システム１１０が、第１の焦点距離（例えば、３５ｍｍ）を有する光学機器に光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システムが第２の焦点距離（例えば、１０５ｍｍ）を有する光学機器に光学的に接続された画像センサを含んでもよく、または逆も成り立つ。かかるシナリオでは、本明細書で説明した画像処理動作の一部または全てが画像フレームの一部に関連してもよい。即ち、画像矯正、ワーピング、雑音除去、およびハイ・ダイナミック・レンジ処理を、当該画像キャプチャ・システムの夫々の視野が重複する画像フレームの「重複」部分に適用してもよい。

例示的な実施形態では、第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０がそれぞれ、立体イメージング・システムまたは双眼イメージング・システムの「左」および「右」の画像センサ（または逆も成り立つ）として動作可能であってもよい。即ち、第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０の組合せがシーンに関する立体イメージング情報を提供するように構成されてもよい。幾つかの実施形態では、画像キャプチャ・システム１１０および１２０の当該組合せが、３次元深度を示す情報および／または視覚的深度認識を提供するのに有用な情報を提供してもよい。

代替的にまたはさらに、画像キャプチャ・システム１１０、１２０、および／または１３０がウェラブルカメラを含んでもよい。さらに、任意数の画像キャプチャ・システム１１０、１２０、および／または１３０が他の画像キャプチャ・システムから物理的に切り離されてもよい。即ち、本明細書で考慮される画像キャプチャ・システムを異なる位置に配置してもよい。例えば、本明細書で考慮する画像キャプチャ・システムが、異なる位置に配置され複数のユーザにより操作される複数のスマートフォン・カメラを含んでもよい。さらにまたは代替的に、当該画像キャプチャ・システムのうち１つまたは複数が固定位置にあってもよく（例えば、三脚上で安定）、一方または他方の画像キャプチャ・システムがモバイルまたは可動であってもよい。当該複数の画像キャプチャ・システムの他の組合せ、方位、および配置が可能である。

システム１００はまた、コントローラ１５０を含む。コントローラ１５０は１つまたは複数のプロセッサ１５２およびメモリ１５４を含んでもよい。例示的な実施形態では、コントローラ１５０は少なくとも１つのプログラム可能回路内シリアルプログラミング（ＩＣＳＰ）マイクロコントローラを含む。さらにまたは代替的に、１つまたは複数のプロセッサ１５２は、１つまたは複数の汎用目的プロセッサ（例えば、マイクロプロセッサ）および／または１つまたは複数の特殊目的プロセッサ、例えば、デジタル信号プロセッサ（ＤＳＰ）、グラフィック演算装置（ＧＰＵ）、浮動小数点ユニット（ＦＰＵ）、ネットワークプロセッサ、または特殊用途向け集積回路（ＡＳＩＣ）を含んでもよい。メモリ１５４がコンピュータ可読プログラム命令を格納するように構成されてもよい。メモリ１５４が、光、磁気、有機、または他のメモリまたはディスク記憶のような揮発性および／または不揮発性記憶コンポーネントを含んでもよく、これらを１つまたは複数のプロセッサ１５２に全体としてまたは部分的に組みこんでもよい。幾つかの実施形態では、メモリ１５４を、単一の物理デバイス（例えば、１つの光、磁気、有機または他のメモリまたはディスク記憶ユニット）を用いて実装してもよく、他の実施形態では、メモリ１５４を、複数の物理デバイスを用いて実装してもよい。

１つまたは複数のプロセッサ１５２が当該命令を実行して動作を実施するように構成されてもよい。幾つかの実施形態では、当該動作が、画像キャプチャ・システム１１０、１２０、および／または１３０によりキャプチャされた１つまたは複数の画像の調整および／または拡張を含んでもよい。

コントローラ１５０が、通信インタフェースを介して第１の画像キャプチャ・システム１１０、第２の画像キャプチャ・システム１２０、および／または当該他の画像キャプチャ・システム１３０に通信可能に接続されてもよい。当該通信インタフェースは１つまたは複数の無線インタフェースおよび／または１つまたは複数の有線インタフェースを含んでもよい。これらにより、コントローラ１５０は、システム１００の他の要素と１つまたは複数のネットワークを介して通信することができる。例示的な実施形態では、無線インタフェースは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ（例えば、ＩＥＥＥ８０２．１１プロトコル）、ロング・ターム・エボリューション（ＬＴＥ）、ＷｉＭＡＸ（例えば、ＩＥＥＥ８０２．１６標準）、無線周波数ＩＤ（ＲＦＩＤ）プロトコル、近距離通信（ＮＦＣ）、および／または他の無線通信プロトコルのような１つまたは複数の無線通信プロトコルの下での通信を提供してもよい。有線インタフェースが、ワイヤ、有線のツイストペア、同軸ケーブル、光リンク、光ファイバリンク、または他種の物理接続を介して通信するためのＥｔｈｅｒｎｅｔインタフェース、ユニバーサル・シリアル・バス（ＵＳＢ）インタフェース、または同様なインタフェースを含んでもよい。また、当該通信インタフェースの一部を少なくとも構成する１つまたは複数のルータ、スイッチ、および／または他のデバイスまたはネットワークがあってもよい。

図１Ａはコントローラ１５０が第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０から略離れているとして示しているが、コントローラ１５０が、システム１００の１つまたは複数の要素に物理的に配置されるかまたはそれに組み込まれてもよい。例えば、コントローラ１５０を第１の画像キャプチャ・システム１１０に組み込んでもよい。代替的に、コントローラ１５０を第２の画像キャプチャ・システム１２０に組み込んでもよい。さらに、コントローラ１５０が第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０の間で分散してもよい。別の実施形態では、コントローラ１５０は分散コンピューティング・ネットワークおよび／またはクラウド・コンピューティング・ネットワークを含んでもよい。

図１Ｂは例示的な実施形態に従うシステム１６０の側面図および上面図を示す。システム１６０が、図１Ａを参照して図示および説明されたシステム１００の幾つかのまたは全ての要素を含んでもよい。例えば、システム１６０は第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０を含んでもよい。

当該画像キャプチャ・システムの組合せが、シーンを参照するために配置されてもよい。具体的には、システム１６０が、当該シーンに基づいて画像（例えば、デジタル画像情報）を提供するように構成されてもよい。

例示的な実施形態では、第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０が、ベースライン分離１６２、またはベースライン距離で互いに離れて配置されてもよい。幾つかの実施形態では、ベースライン分離１６２が、第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０の各光軸の間の距離に基づいてもよい。第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０の光軸が平行であってもよい。しかし、幾つかの実施形態では、当該光軸が平行である必要はない。さらに、当該光軸のうち少なくとも１つが調節可能であってもよい。

幾つかの実施形態では、当該シーンはオブジェクト１６４を含んでもよい。かかるシナリオでは、第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０は夫々の画像データ１１４および１２４を提供してもよい。画像データ１１４および１２４は当該シーンおよびオブジェクト１６４に関する画像情報を含んでもよい。画像データ１１４および１２４が、少なくとも第１の画像キャプチャ・システム１１０および第２の画像キャプチャ・システム１２０の異なる物理位置のため、異なってもよい。例えば、画像フレーム１１２および１２２に示すように、オブジェクト１６４の相対的な位置が画像フレーム１１２および１２２内で異なってもよい。即ち、オブジェクト１６４が画像フレーム１１２および１２２の両方に含まれてもよい。しかし、オブジェクト１６４が、画像フレーム１１２および１２２内の異なる相対的な位置に出現してもよい。オブジェクト１６４の当該相対的な位置における差分が、その特定の画像特徴に対する視差を考慮してもよい。当該夫々の画像キャプチャ・システムからの他の距離および／または位置に対応する他の画像特徴が視差の他の値に関連してもよい。

図１Ｂはオブジェクト１６４のみを含むシーンを含むが、説明の目的のためにのみ、簡単な説明が提供されていることは理解される。画像キャプチャ・システム１１０および１２０がより複雑なシーンをキャプチャするように構成されてもよい。例えば、システム１６０が、任意数のオブジェクトまたは特徴（またはかかるオブジェクトまたは特徴の欠如）を含みうる多種多様なシーンを撮像するように構成されてもよい。

図２Ａ、２Ｂ、および２Ｃは本開示の範囲内で考慮される様々な画像キャプチャ・シナリオを示す。

図２Ａは、例示的な実施形態に従う画像キャプチャ・シナリオ２００を示す。画像キャプチャ・シナリオ２００は第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムを含む。これらが、図１Ａおよび１Ｂを参照して図示および説明した画像キャプチャ・システム１１０および１２０と同様または同一であってもよい。時刻ｔ_０で、第１の画像キャプチャ・システムが画像フレーム２１０をキャプチャし始めてもよい。即ち、第１の画像キャプチャ・システムの画像センサはｔ_０およびｔ_１の間に露出期間２０２に対するシーンから光子を収集してもよい。時刻ｔ_０でまた、第２の画像キャプチャ・システムが画像フレーム２２０のキャプチャを開始してもよい。第１の画像キャプチャ・システムと同様に、第２の画像キャプチャ・システムがｔ_０およびｔ_１の間に露出期間２０２に対するシーンから光子を収集してもよい。画像フレーム２１０および画像フレーム２２０の組合せを画像ペア１と考えてもよい。

後続の画像ペア、当該複数の画像キャプチャ・システムによりキャプチャされてもよい。即ち、画像ペア２が、画像フレーム２１２および２２２を含み、ｔ_１およびｔ_２の間に露出期間２０４にわたってキャプチャされてもよい。さらに、画像フレーム２１４および２２４を含む画像ペア３がｔ_２およびｔ_３の間に露出期間２０６にわたってキャプチャされてもよい。この特定の時間シーケンスおよび露出期間が変化してもよいことは理解される。

図２Ｂは、例示的な実施形態に従う画像キャプチャ・シナリオ２３０を示す。かかるシナリオでは、夫々の画像ペアの画像フレームが同一の露出期間でキャプチャされる必要はない。例えば、画像フレーム２３２が、ｔ_０からｔ_１の露出期間にわたって第１の画像キャプチャ・システムによりキャプチャされてもよい。しかし、画像フレーム２３８がより短い露出期間にわたってキャプチャされてもよい。それにもかかわらず、画像フレーム２３２および２３８を、本開示の目的のために画像ペア１と考えてもよい。例えば、各夫々の画像ペアからの１つまたは複数の画像がベース画像または参照画像に関して異なる明度を有してもよい。かかるシナリオでは、アナログおよび／またはデジタル・ゲインが場合によっては当該夫々の画像センサで適用されてもよく、またはデジタル・ゲインを、当該ベース画像と同様に「総露出」（例えば、露出時間とゲインの積）を提供するために当該夫々の画像（複数可）に適用してもよい。したがって、当該様々な画像フレームをより容易に比較および／または結合してもよく、画像矯正、ステレオワーピング、および雑音除去を依然として成分画像フレームに適用してもよい。同様に、画像フレーム２４０および２４２が対応する画像フレーム２３４および２３６と比較して異なる露出期間を有してもよい。

図２Ｃは例示的な実施形態に従う画像キャプチャ・シナリオ２５０を示す。示すように、画像フレーム２５８、２６０、および２６２は異なる露出期間を有してもよく、かつ／または、対応する画像フレーム２５２、２５４、および２５６と比較して異なる時点に開始してもよい（例えば、当該夫々の画像が異なる時点で開始および／または終了してもよい）。それにもかかわらず画像フレーム（２５２＆２５８）、（２５４＆２６０）、および（２５６＆２６２）が本開示の範囲内の画像ペアを考慮してもよい。

図３は例示的な実施形態に従う流れ図３００を示す。本明細書で説明したように、コントローラ１５０が様々な動作を実行するように構成されてもよい。流れ図３００の様々なブロックは幾つかのまたは全てのかかる動作を示してもよい。さらに、流れ図３００のブロックは、図１Ａおよび１Ｂに関して図示および説明されたシステム１００および／または１６０の要素を含みうる動作を図示および説明する。流れ図３００のブロックは特定の順序を有するとして示されているが、１つまたは複数のブロックを、除去し、追加し、反復し、別のブロックと並列に完了し、および／またはばらばらに完了してもよい。

例えば、示すようにブロック３０２で、コントローラ１５０が、バースト画像データを画像キャプチャ・システム１１０および１２０から受信するように動作可能であってもよい。当該バースト画像データは、第１の画像キャプチャ・システム１１０からの第１の画像データおよび第２の画像キャプチャ・システム１２０からの第２の画像データを含んでもよい。当該バースト画像データは少なくとも１つの画像ペアを含んでもよい。さらにまたは代替的に、当該バースト画像データは複数の画像ペア（例えば、１０画像ペア）および／またはビデオ・ストリームを含んでもよい。

ブロック３０４で示すように、コントローラ１５０が、当該バースト画像データに基づいて少なくとも１つの整形ホモグラフィ関数を決定するように構成されてもよい。当該少なくとも１つの整形ホモグラフィ関数が、当該少なくとも１つの画像ペアの対応する画像部分を整列するように構成されてもよい。当該少なくとも１つの整形ホモグラフィ関数が、通常の利用の前に較正手続きに基づいて決定されてもよい。例えば、当該較正手続きが基本行列を提供してもよい。当該基本行列は画像キャプチャ・システム１１０と１２０の間の幾何的関係を記述しうる。

さらにまたは代替的に、当該較正手続きは、画像キャプチャ・システム１１０および１２０のエピポーラ幾何に関する情報を提供してもよい。例えば、かかる情報が、画像キャプチャ・システム１１０および１２０の対応するエピポーラ線を含んでもよい。エピポーラ幾何に関する情報は、少なくともエピポーラ線の知識が、ターゲット画像を参照画像で整列しようと試みるときに可能な検索パラメータを削減しうるので（例えば、１Ｄ線に沿った対応するオブジェクト／特徴の検索と、２Ｄ領域内の対応するオブジェクト／特徴の検索）、画像処理効率を高め得る。

代替的にまたはさらに、当該少なくとも１つの整形ホモグラフィ関数が、「オンザフライで」、例えば、画像ペアの両方のフレーム内の対応する特徴のような画像ペアのフレームの間の比較に基づいて、決定されてもよい。かかるシナリオでは、当該２つのカメラの間の１つまたは複数の基本行列が、当該画像ペアの対応する特徴に基づいて決定されてもよい。１例として、当該基本行列が、当該画像ペアの水平軸上の対応する点の視差または最小二乗誤差に基づいて決定されてもよい。

整形ホモグラフィ関数（複数可）が線形変換を含んでもよい。当該線形変換は回転変換、拡大変換、および／または画像スキュー変換を含んでもよい。例えば、当該回転変換が第２の画像フレームに関して第１の画像フレームを回転するステップを含んでもよく、または逆も成り立つ。当該拡大変換が、第２の画像フレームに関して第１の画像フレームを拡大または縮小するステップを含んでもよく、または逆も成り立つ。当該画像スキュー変換が画像をｚ軸捩れに関して調整するステップを含んでもよい。他種の画像変換が、画像ペアのフレームおよび／または一般にバースト画像データを整列または整形するために考慮される。

例示的な実施形態では、整形ホモグラフィ関数（複数可）が、シーンのエピポーラ幾何の計算または推定に基づいて画像フレームを整列するように動作可能であってもよい。即ち、当該画像フレームの一方または両方が共通画像平面をエミュレートするように変換されてもよい。整形ホモグラフィ関数（複数可）が様々な画像処理技術を用いて決定されてもよいことは理解される。各かかる画像処理技術が本明細書で考慮されている。

ブロック３０６で示すように、コントローラ１５０が、第１の画像データまたは第２の画像データのうち少なくとも１つを、決定された少なくとも１つの整形ホモグラフィ関数に従って調節するように動作可能であってもよい。即ち、コントローラ１５０が、相対的な回転、スキュー、スケール等を調整することで、第１の画像データを第２の画像データで整列してもよい。幾つかの実施形態では、第１の画像データまたは第２の画像データの１つが当該少なくとも１つの整形ホモグラフィ関数に従って修正されてもよい。幾つかの他の実施形態では、第１の画像データおよび第２の画像データの両方が当該少なくとも１つの整形ホモグラフィ関数に従って修正される。

例示的な実施形態では、当該少なくとも１つの整形ホモグラフィ関数に従って第１のおよび／または第２の画像データを調整するステップが、オプティカル・フローまたは他の画像処理アルゴリズムに従って当該画像データをさらに調整する前に、当該画像データの「疎な整列」を提供してもよい。

ブロック３０８で示すように、コントローラ１５０が、バースト画像データの視差の決定を実施するように動作可能であってもよい。当該視差は、立体画像ペアの「左」および「右」の画像における２つの対応する点の間の距離を含んでもよい。例示的な実施形態では、当該視差がベースライン距離に少なくとも基づいて当該コントローラにより決定されてもよい。他の実施形態では、当該視差が、立体画像ペアの左および右の画像の間の比較に基づいて決定されてもよい。例示的な実施形態では、当該視差の決定が、第１の画像データ、第２の画像データ、およびベースライン距離に基づいて視差関数を推定するステップを含んでもよい。換言すれば、当該視差が３次元画像処理方法の一部として決定されてもよい。

幾つかの実施形態では、コントローラ１５０が、当該立体画像ペアの左および右の画像の間の比較に基づいて視差画像を提供するように構成されてもよい。例示的な実施形態では、当該視差画像が、当該立体画像ペアの左および右の画像フレーム内の対応する特徴の間の幾何的視差に基づく画素明度レベルを有する画像フレームを含んでもよい。さらにまたは代替的に、コントローラ１５０が、当該立体画像ペアの当該画像フレームの間の比較に基づいて視差マップを提供するように構成されてもよい。

他の情報が、当該視差の決定を支援するために取得および／または受信されてもよい。例えば、コントローラ１５０は、ＬＩＤＡＲ、ＲＡＤＡＲ、超音波センサまたは別のタイプの距離測定システムを介して範囲データを受信してもよい。コントローラ１５０はこの範囲データを利用して、当該視差を少なくとも部分的に決定してもよい。

ブロック３１０で示すように、コントローラ１５０が、決定された視差に従って各画像ペアの少なくとも１つの画像を「ワープ」または修正するように動作可能であってもよい。即ち、コントローラ１５０は各画像ペアの少なくとも１つの画像を、それが実質的に当該画像ペアの対応する画像にマッチするように調節してもよい。幾つかの例では、かかる画像調整が、決定された視差および／または推定された視差関数の逆を第１の画像データまたは第２の画像データのうち少なくとも１つに適用するステップを含んでもよい。当該バースト画像データのかかるワーピングが、ワープされた画像スタックを形成してもよい。幾つかの実施形態では、当該ワープされた画像スタックは、オブジェクト動き、カメラ動き、および／または画像雑音の可能な例外を伴って、互いと実質的に同様である画像フレームを含んでもよい。

代替的にまたはさらに、画像調整が、参照画像内の対応する位置に基づくターゲット画像内の１つまたは複数の画素（例えば、正確に整列された画素）を移動するステップを含んでもよい。２つの画像が同時に異なる視点からキャプチャされるシナリオにおいて、当該シーンのオプティカル・フロー・マップが提供されてもよい。当該オプティカル・フロー・マップが、例えば、当該参照画像内の対応する正しく整列された画素に基づいて当該ターゲット画像内で移動された各画素に対する相対的な距離および／または方向を含んでもよい。当該オプティカル・フロー・マップを、当該シーンの深度マップを提供するために使用してもよい。例えば、当該深度マップが、当該画像キャプチャ・システム（複数可）のベースライン距離および／または視野に基づいてもよい。

ブロック３１２で示すように、コントローラ１５０が雑音を当該ワープされた画像スタックから除去するように構成されてもよい。即ち、コントローラ１５０がバーストノイズ除去アルゴリズムを当該ワープされた画像スタックに適用して少なくとも１つの出力画像を生成してもよい。当該少なくとも１つの出力画像はより少ないショット雑音または他種の画像雑音を含みうる。

例示的な実施形態では、当該バーストノイズ除去アルゴリズムは、ワープされた画像スタックの加重平均を決定するステップを含んでもよい。かかるシナリオでは、当該加重平均は当該ワープされた画像スタックの対応する画素の画素単位平均を含んでもよい。当該加重平均が、他の可能性のうち、対応する画素強度、色、および／または光度に基づいてもよい。代替的にまたはさらに、当該バーストノイズ除去アルゴリズムはロー・パス・フィルタおよび／または高速フーリエ変換（ＦＦＴ）を含んでもよい。さらに、他の実施形態が、（例えば、色、明度等に基づいて）同様な画素領域を識別しこれらの領域に対してフィルタおよび／または平均化を適用するバーストノイズ除去アルゴリズムを含んでもよい。

幾つかの実施形態では、Ｗｉｅｎｅｒフィルタを、ワープされた画像スタックから望ましくない雑音をフィルタするために使用してもよい。かかるシナリオでは、Ｗｉｅｎｅｒフィルタは推定されたランダム・プロセス（例えば、ショット雑音）と所望の画像との間の平均二乗誤差を削減または最小化してもよい。さらにまたは代替的に、ブロック・マッチングおよび３Ｄフィルタ（ＢＭ３Ｄ）または非局所平均のような他種の画像雑音除去フィルタが可能である。様々な他のノイズ除去技術およびアルゴリズムが可能であり、本明細書で考慮されることは理解される。

幾つかの画素符号化では、各画素の明度を表すのに８ビットを使用する。そのようにすることは、ロー・ダイナミック・レンジ（ＬＤＲ）イメージングと称される。結果として、２５６レベルのみの明度がサポートされうる。しかし、実世界シーンはしばしば、合理的にＬＤＲイメージングにより表されうる広い動的な範囲の明度を示す。例えば、個人が暗い部屋の中で窓の前に立っているシーンは極度に明るい領域および極度に暗い領域の両方を含みうる。しかし、かかるシーンの画像をキャプチャするためのＬＤＲイメージングの利用は、当該画像がキャプチャされた露出長に基づいて当該明るい領域および／または当該暗い領域の細部の損失をもたらしうる。

短い露出長はシーンの明るい領域の合理的に正確な表現を生成しうるが、暗い領域の露出不足をもたらしうる。反対に、長い露出長は暗い領域の合理的に正確な表現を生成しうるが、明るい領域を過度に露出するおそれがある。この例示的なシーンでは、露出長が長すぎる場合、部屋の中の特徴は正しく露出されたようにみえるが、窓外部の特徴はかき消されたように見える。しかし、露出長が短すぎる場合、窓外部の特徴は正常に見えるが、部屋の中の特徴は暗くなったように見える。これらの結果の何れかは望ましくない。幾つかのシーンに対して、明るい領域および暗い領域の両方の細部を許容可能な細部で表現するキャプチャされた画像をもたらす単一の露出長は無いかもしれない。

個人が暗い部屋の中で窓の前に立っているシナリオでは、第１の画像フレームを第１の露出長でキャプチャしてもよい。第１の露出長は当該シーンの空および雲の部分を正しく露出しうるが、人および周囲の部屋の不正確な露出（例えば、露出不足）をもたらしうる。第２の画像フレームを第２の露出長でキャプチャしてもよい。第２の露出長は人および周囲の部屋を正しく露出しうるが、当該シーンの空および雲の部分の不正確な露出（例えば、過度な露出）をもたらしうる。

場合によっては、ブロック３１４で示すように、コントローラ１５０が、ハイ・ダイナミック・レンジ（ＨＤＲ）処理をワープされた画像スタックおよび／または１つまたは複数の出力画像に適用するように動作可能であってもよい。以上の例を用いて、画像スタックの第１の画像フレームの正しく露出された画素を、第１の画像フレーム内の不正確に露出された画素に対応する当該画像スタックの第２の画像フレーム内の画素と結合してもよい。例えば、第１の画像フレームの正しく露出された空および雲の部分を、第２の画像フレームからの正しく露出された人および部屋の部分と結合してもよい。結果の複合画像は当該シーンの明るい領域および暗い領域の両方の細部を合理的に良好に再生しうる。

キャプチャされた画像からの画素を結合して複合画像を形成することを、幾つかの方法で実現してもよい。例えば、画像の画素ごとの組合せを、例えば当該画素の明度に従って各画像の画素に重みを割り当てることで形成してもよい。ついで、その重みに依存して、特定の画素を最終的な画像に含めるかまたはそこから排除してもよい。代替的に、複数のＬＤＲ画像をＨＤＲ画像に結合してもよく、当該ＨＤＲ画像をついで、その明度が、従来型のビデオ出力デバイスのディスプレイ能力と同等の範囲内に入るように、トーン・マップしてもよい。しかし、キャプチャされた画像から画素を結合する他の方法を、本明細書の実施形態の代わりに使用してもよい。

幾つかの実施形態では、ＨＤＲ処理を、自動露出ブラケット（ＡＥＢ）を用いてキャプチャされた画像フレームに基づいて実施してもよい。即ち、ワープされた画像スタックが、或る範囲の露出期間を有する画像フレームを含んでもよい。したがって、ＨＤＲ出力画像が、当該ワープされた画像スタック内の複数の画像フレームからの正しく露出された領域に基づいて提供されてもよい。幾つかの実施形態では、当該バースト画像データが、１８個の露出値（ＥＶ）にわたってキャプチャされた画像フレームを含んでもよい。他の露出ブラケット範囲が可能である。

ＨＤＲ出力画像を提供するための、ＨＤＲ、または「ＨＤＲ風の」処理をワープされた画像スタックおよび／または出力画像（複数可）に適用する他の方法が可能である。例えば、出力画像の露出、明度、ガンマ、色、または他の態様を、過度に露出された領域および露出不足である領域を減らすために調節してもよい。かかるシナリオでは、出力画像の陰影を増やしてもよく、出力画像のハイライトを減らしてもよい。

さらにまたは代替的に、１つまたは複数の出力画像が、局所コントラストを保持しつつ当該出力画像のダイナミックレンジまたはコントラスト比を低減するためにトーン・マップされてもよい。画像の細部を保持しつつ画像の過度に露出された領域および露出不足な領域を削減するための他の方法が本明細書で考慮される。
シーン動きの量を増大させることである。

例示的な実施形態では、コントローラ１５０が、同様な特性をもつ画像画素を有する「タイル」に従って各画像フレーム内の画素をグループ化、指定、および／または分離するために画像データを分析するように動作可能であってもよい。１例として、画像フレームを分析して、画素の明度、色、トーン、形状、エッジ等のような１つまたは複数の画像の特性に従って同様なタイルまたは領域を決定してもよい。例えば、高い明度（例えば、空）を有する画素領域が第１のタイルに関連付けられてもよく、低い明度（例えば、地上）を有する画素領域が第２のタイルに関連付けられてもよい。幾つかの実施形態では、単一の画像フレームが何十、何百、何千、またはそれ以上のタイルを含んでもよい。

バースト画像データが、上述したのと同様な方式でタイルされてもよい。したがって、当該バースト画像データが、夫々の画像フレーム内の同様な形状および位置を有するタイルを伴う画像フレームを含んでもよい。当該夫々の画像フレーム間の対応するタイルをマッチすることは、画素全体を検索するよりも実質的に高速であるかもしれない。

したがって、本明細書で説明した画像処理動作の何れかを、タイルベースで実施してもよい。即ち、少なくとも１つの整形ホモグラフィ関数が、対応するタイルを少なくとも１つの画像ペア内で整列することに基づいて決定されてもよい。さらに、視差が、立体画像ペア（複数可）の画像フレーム内の同様なタイルの相対的な位置を比較することで決定されてもよい。さらに、バーストノイズ除去アルゴリズムを、ワープされた画像スタックの各画像フレームの対応するタイルを比較することで実施してもよい。さらに、ＨＤＲ処理が、当該ワープされた画像スタックの様々な画像フレームからの正確に露出されたタイルを結合するステップを含んでもよい。

幾つかの実施形態では、タイルを扱うことに基づく画像処理が、画素ごとの画像処理に対する速度および画像品質の改善をもたらしうる。例えば、タイルされた画像処理は、「ゴースト発生」、ぼかし画像アーチファクト、および／またはタイル境界のエッジでのアーチファクトを削減または排除しうる。

例示的な方法
図４は、例示的な実施形態に従う方法４００を示す。方法４００が様々なブロックまたはステップを含んでもよい。当該ブロックまたはステップを独立にまたは組合せで実施してもよい。当該ブロックまたはステップを、任意の順序でおよび／または逐次的にまたは並列に実施してもよい。さらに、ブロックまたはステップを省略するかまたは方法４００に追加してもよい。

方法４００の幾つかのまたは全てのブロックが、図１Ａおよび１Ｂを参照して図示および説明されたシステム１００および／またはシステム１６０の要素を含んでもよい。さらに、方法４００の様々なブロックが図３の流れ図３００を参照して図示および説明された動作と同様または同一であってもよい。

ブロック４０２は、コンピューティング・システムにより、バースト画像データを受信するステップを含む。当該コンピューティング・システムが、図１Ａに関して図示および説明されたコントローラ１５０と同様または同一であってもよい。当該バースト画像データは第１の画像キャプチャ・システムにより生成される第１の画像データおよび第２の画像キャプチャ・システムにより生成される第２の画像データを含む。第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムの各光軸がベースライン距離により分離され、実質的に同一方向を向いてもよい。第１の画像データおよび第２の画像データは少なくとも１つの画像ペアを含む。

ブロック４０４は、当該コンピューティング・システムにより、少なくとも１つの整形ホモグラフィ関数を決定するステップを含む。当該少なくとも１つの整形ホモグラフィ関数は、当該複数の画像ペアの夫々の画像ペアを整列するように構成される。例示的な実施形態では、当該少なくとも１つの整形ホモグラフィ関数は幾何画素補正関数および光度計画素補正関数を含む。

ブロック４０６は、当該少なくとも１つの整形ホモグラフィ関数に従って第１の画像データまたは第２の画像データのうち少なくとも１つを調節するステップを含む。

ブロック４０８は、当該コンピューティング・システムにより、当該ベースライン距離に少なくとも基づいて当該バースト画像データの視差を決定するステップを含む。例示的な実施形態では、当該バースト画像データの当該視差を決定するステップは、第１の画像データ、第２の画像データ、およびベースライン距離に基づいて視差関数を推定するステップを含む。

ブロック４１０は、第１の画像データまたは第２の画像データのうち少なくとも１つを当該決定された視差に従って調節して、ワープされた画像スタックを提供するステップを含む。例示的な実施形態では、当該決定された視差に従って第１の画像データまたは第２の画像データのうち少なくとも１つを調節するステップは、当該推定された視差関数の逆を第１の画像データまたは第２の画像データのうち少なくとも１つに適用するステップを含む。

ブロック４１２は、バーストノイズ除去アルゴリズムに従って少なくとも１つの出力画像を生成するステップを含む。当該バーストノイズ除去アルゴリズムは、当該ワープされた画像スタックの加重平均を決定するステップを含む。例えば、幾つかの実施形態では、当該加重平均は、当該ワープされた画像スタックの対応する画素の画素単位平均を含む。

場合によっては、当該方法は、ハイ・ダイナミック・レンジ（ＨＤＲ）関数を当該少なくとも１つの出力画像に適用して少なくとも１つのＨＤＲ出力画像を提供するステップを含んでもよい。

幾つかの実施形態では、第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムは、例えば、当該画像キャプチャ・システムが異なる画像センサ、光路、光伝達関数（ＯＴＦ）、および／または視野を有することに基づいて異なる夫々の画像を提供してもよい。かかるケースでは、本明細書で説明した方法およびプロセスを依然として適用してもよい。例えば、画像配列、ワーピング、および雑音除去プロセスを、当該夫々の画像キャプチャ・システムからの画像の間の関連する差分（複数可）を補償する際にバースト画像データに適用してもよい。

１例として、第１の画像キャプチャ・システムは、カラー・フィルタ・アレイに光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システムはカラー・フィルタ・アレイなしの画像センサを含んでもよい。任意の画像補償ブロックまたはステップは、一方のまたは両方の画像キャプチャ・システムからの画像フレームの少なくとも幾つかの画素の明度レベルを、例えば、当該カラー・フィルタ・アレイの波長依存光伝達関数に基づいて調整するステップを含んでもよい。

別のシナリオでは、第１の画像キャプチャ・システムは、ロー・パス・フィルタに光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システムはロー・パス・フィルタのない画像センサを含んでもよい。かかる例では、任意の画像補償ブロックまたはステップが、当該画像フレームの画像情報の明度レベル、または別の態様を当該ロー・パス・フィルタの波長依存光伝達関数に基づいて調整するステップを含んでもよい。

さらに、別の実施形態では、第１の画像キャプチャ・システムが、例えば、第１の焦点距離を有する光学機器に光学的に接続された画像センサを含んでもよく、第２の画像キャプチャ・システムは、第１の焦点距離と異なる第２の焦点距離を有する光学機器に光学的に接続された画像センサを含んでもよい。かかるシナリオでは、任意の画像補償ブロックまたはステップが、一方のまたは両方の組の画像データを、当該夫々の画像キャプチャ・デバイス内の光学機器の差分に基づいて調整するステップを含んでもよい。非限定的な例として、当該画像データを、異なる視野、口径食、歪み（例えば、樽、針刺し、または口髭歪み）、および当該２つの異なる組の光学機器の間の色収差を補償することに基づいて調節してもよい。例えば、樽歪みの差分をＢｒｏｗｎ－Ｃｏｎｒａｄｙ歪み補正アルゴリズムを用いて補償してもよい。上述の異なる光シナリオを補完するために様々な他の画像補正アルゴリズムを実装してもよいことは理解される。かかる他の画像補正アルゴリズム全てが本開示の範囲内で考慮される。

図に示す特定の配置を限定として考えるべきではない。他の実施形態が所与の図に示した各要素のうちより多くまたは少ないものを含んでもよいことは理解されるべきである。さらに、図示した要素の一部を結合または省略してもよい。さらに、例示的な実施形態が、図に示していない要素を含んでもよい。

情報の処理を表すステップまたはブロックは、本明細書で説明した方法または技術の特殊ロジック関数を実施するように構成されうる回路に対応しうる。代替的にまたはさらに、情報の処理を表すステップまたはブロックはモジュール、セグメント、または（関連データを含む）プログラムコードの部分に対応しうる。当該プログラムコードが、当該方法または技術における特殊ロジック関数またはアクションを実装するためのプロセッサにより実行可能な１つまたは複数の命令を含むことができる。当該プログラムコードおよび／または関連データを、ディスク、ハード・ドライブ、または他の記憶媒体を含む記憶デバイスのような任意のタイプのコンピュータ可読媒体に格納しうる。

当該コンピュータ可読媒体はまた、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）のような短期間データを格納するコンピュータ可読媒体のような非一時的コンピュータ可読媒体を含むことができる。当該コンピュータ可読媒体はまた、プログラムコードおよび／またはデータをより長期間格納する非一時的コンピュータ可読媒体を含むことができる。したがって、当該コンピュータ可読媒体は、例えば、読取専用メモリ（ＲＯＭ）、光または磁気ディスク、コンパクト・ディスク読取専用メモリ（ＣＤ－ＲＯＭ）のようなセカンダリまたは永続長期記憶を含んでもよい。当該コンピュータ可読媒体は任意の他の揮発性または不揮発性記憶システムであることもできる。コンピュータ可読媒体をコンピュータ可読記憶媒体、例えば、または有形記憶デバイスと考えることができる。

様々な例および実施形態を開示したが、他の例および実施形態は当業者に明らかであろう。当該様々な開示された例および実施形態は例示の目的のためであり、限定を意図するものではない。その真の範囲と趣旨は添付の特許請求の範囲により示される。

１１０ 第１の画像キャプチャ・システム
１２０ 第２の画像キャプチャ・システム
１４０ ユーザ・インタフェース
１４２ ディスプレイ
１４４ コントロール
１５０ コントローラ
１５２ プロセッサ（複数可）
１５４ メモリ

Claims (8)

1. 複数の画像キャプチャ・システムであって、前記複数の画像キャプチャ・システムは少なくとも第１の画像キャプチャ・システムおよび第２の画像キャプチャ・システムを含み、前記第１および前記第２の画像キャプチャ・システムの各光軸はベースライン距離により分離され、前記第１および前記第２の画像キャプチャ・システムは一緒にバースト画像データをキャプチャするように動作可能である、前記複数の画像キャプチャ・システムと、
   メモリおよびプロセッサを備えたコントローラであって、前記メモリは命令を含むように構成され、前記プロセッサは動作を実施するために前記命令を実行するように構成される、コントローラと、
   を備え、前記動作は、
   前記複数の画像キャプチャ・システムからバースト画像データを受信するステップと、
   ワープされた画像スタックを提供するために前記受信したバースト画像データを調整するステップと、
   バーストノイズ除去アルゴリズムに従って少なくとも１つの出力画像を生成するステップであって、前記バーストノイズ除去アルゴリズムは前記ワープされた画像スタックの加重平均を決定することを含む、ステップと、
   を含み、
   前記バースト画像データは少なくとも１つの画像ペアを含み、前記少なくとも１つの画像ペアは第１の画像と第２の画像とを含み、
   前記少なくとも１つの画像ペアの前記第１の画像は前記第１の画像キャプチャ・システムにより第１の露出時間でキャプチャされ、前記少なくとも１つの画像ペアの前記第２の画像は前記第２の画像キャプチャ・システムにより第２の露出時間でキャプチャされ、前記第１の露出時間は前記第２の露出時間と異なり、
   前記第１の画像キャプチャ・システムは第１の光学機器に光学的に接続された第１の画像センサを備え、前記第１の画像センサと前記第１の光学機器は第１の焦点距離と関連し、前記第２の画像キャプチャ・システムは第２の光学機器に光学的に接続された第２の画像センサを備え、前記第２の画像センサと前記第２の光学機器は第２の焦点距離と関連し、前記第１の焦点距離は前記第２の焦点距離と異なり、
   前記動作は、ハイ・ダイナミック・レンジ（ＨＤＲ）処理を前記ワープされた画像スタックに適用するために前記第１の画像の正しく露出された画素を前記第１の画像の不正確に露出された画素に対応する前記第２の画像内の画素と結合するステップをさらに含む、
   システム。
2. 前記ワープされた画像スタックを提供するために前記受信したバースト画像データを調整するステップは、
   前記ベースライン距離に少なくとも基づいて前記受信したバースト画像データの視差を決定するステップと、
   前記決定された視差に従って前記受信したバースト画像データを調整するステップと、
   を含む、請求項１に記載のシステム。
3. 前記受信したバースト画像データの視差を決定するステップは前記受信したバースト画像データと前記ベースライン距離に基づいて視差関数を推定するステップを含む、請求項２に記載のシステム。
4. 前記決定された視差に従って前記受信したバースト画像データを調整するステップは前記バースト画像データの少なくとも１つに前記推定された視差関数の逆を適用するステップを含む、請求項３に記載のシステム。
5. 前記ワープされた画像スタックを提供するために前記受信したバースト画像データを調整するステップは、
   前記バースト画像データの２以上の異なる画像内のキャプチャされたオブジェクトの相対的な位置の差に少なくとも基づいて前記受信したバースト画像データの視差を決定するステップと、
   前記決定した差分に従って前記受信したバースト画像データを調整するステップと
   を含む、請求項１に記載のシステム。
6. 前記動作は、
   少なくとも１つのホモグラフィ関数を決定するステップであって、前記少なくとも１つのホモグラフィ関数は前記バースト画像データの２以上の画像の対応する画像部分を整列するように構成される、ステップと、
   前記少なくとも１つのホモグラフィ関数に従って前記バースト画像データの前記２以上の画像うちの少なくとも１つを調節するステップと
   をさらに含む、請求項１に記載のシステム。
7. 前記バースト画像データは参照総露出を有する参照画像と少なくとも１つの非参照画像とを含み、前記ワープされた画像スタックを提供するために前記受信したバースト画像データを調整するステップは、
   前記少なくとも１つの非参照画像を前記参照画像と比較するステップと、
   前記比較に基づいて、各非参照画像が前記参照総露出と同等の総露出を備えるように各非参照画像にゲインを適用するステップと、
   を含む、請求項１に記載のシステム。
8. 前記第１の焦点距離は35ｍｍで前記第２の焦点距離は105ｍｍである、請求項１に記載のシステム。

Images