JP6947412B2 - 組み合わせられたｈｄｒ／ｌｄｒビデオストリーミング - Google Patents

Description

（関連出願の相互参照）
本願は、２０１６年５月３１日に出願された米国出願第１５／１６９，０１２号に対する優先権および利益を主張するものであり、この出願は、２０１６年２月１２日に出願された米国仮特許出願第６２／２９４，８２０号の利益を主張するものであり、これらの各々の内容は、参照により本明細書中に援用される。

（技術分野）
本開示は、低ダイナミックレンジおよび高ダイナミックレンジディスプレイデバイス上での表示のためのビデオのリアルタイム生成およびブロードキャストに関する。

人間の視覚系は、高ダイナミックレンジを伴う視覚特徴の識別および処理を行うことができる。例えば、１，０００，０００：１またはそれを上回るコントラスト比率を伴う実世界場面は、人間の視覚野によって正確に処理されることができる。しかしながら、大部分の画像取得デバイスは、低ダイナミックレンジの再現または捕捉のみが可能であって、画像正確度の損失をもたらす。問題は、ビデオ撮像においてさらにより有意となる。

それぞれ異なる露光を受ける複数のセンサからの画像を後処理することによって、高ダイナミックレンジ画像を作成する例が存在する。結果として生じる「混成された」画像は、後処理動作を伴わずに単一センサから可能であろうものより広いダイナミックレンジを捕捉することが意図される。しかしながら、要求される後処理は、時間集約的であって、ＨＤＲビデオ信号を生成し、これは、高価なＨＤＲ再生デバイスおよびディスプレイデバイスを要求する。

集約的後処理および非一般的機器の要件は、多くの人々がテレビを視聴する方法に良好に適さない、ＨＤＲビデオシステムにつながる。例えば、ライブブロードキャストは、テレビの重要な部分である。多くの人々は、イベントライブを視聴することによって、ニュースまたはそのお気に入りのスポーツチームをフォローする一方、既存のＨＤＲビデオ生成は、撮影後、生成後処理、次いで、表示が続くことを要求する。加えて、いくつかのＨＤＲビデオシステムは、低ダイナミックレンジ（ＬＤＲ）テレビを有するユーザの既存のインストールされたベースと後方互換性がない。

本発明は、ビデオがＬＤＲおよびＨＤＲディスプレイデバイスの両方によってリアルタイムで表示されるように、デュアルＨＤＲ／ＬＤＲフォーマットでビデオをブロードキャストするための方法を提供する。本発明の方法およびデバイスは、フレーム独立様式において、複数のセンサからのピクセルのストリームを処理し、高ダイナミックレンジ（ＨＤＲ）ビデオ信号をリアルタイムで生成する。本発明のリアルタイム側面は、それらのピクセルが属するフレームを参照せずに、種々のセンサからのピクセルのストリームを分析することによって遂行される。したがって、本発明のフレーム独立性質は、ピクセルデータを処理する前に、データのフレーム全体がセンサから読み取られることを待機する必要がないことを意味する。その結果、単一画像センサを使用して得られ得る範囲、典型的には、深度８ビットを上回るダイナミックレンジを有する、ＨＤＲビデオとなる。そのＨＤＲビデオ信号は、次いで、トーンマッピングされ、ＬＤＲビデオ信号を生成し、ＬＤＲ信号は、ＨＤＲ信号から減算され、残留信号を計算し、ＬＤＲ信号および残留信号は、組み合わせられた信号に融合され、これは、通信ネットワークを介してブロードキャストされる。組み合わせられた信号は、それらのデバイスが、単に、組み合わせられた信号のＬＤＲ信号を使用するため、既存のＬＤＲディスプレイデバイスと後方互換性がある。組み合わせられた信号はまた、残留物とＬＤＲ信号を融合し、ＨＤＲビデオ信号を再作成することによって、ＨＤＲディスプレイによっても表示可能である。ＨＤＲビデオは、異なる光レベルで同じ場面に露光され、それぞれ、順序付けられたピクセル値のストリームを生成する、複数のセンサを用いて開始される。ピクセル値は、リアルタイムで、それらが常駐するであろう、フレームから独立して処理される。ＨＤＲ画像を生成するために使用されるビデオ処理パイプラインは、飽和されているピクセル値を識別し、ピクセル値のストリームを融合する、カーネルおよび融合演算を含む。融合演算は、飽和されているピクセル値と異なるセンサから生じる対応するピクセル値を置換することを含む。融合された信号は、ＨＤＲ信号であって、トーンマッピングされ、ＬＤＲ信号および残留物を生成する。残留物は、ＬＤＲ信号とともに、組み合わせられた信号の中に組み合わせられ、これは、それぞれ、ＬＤＲおよびＨＤＲデバイスによるＬＤＲおよびＨＤＲ表示のためにブロードキャストされる。

デュアルＬＤＲ／ＨＤＲビデオブロードキャストは、パイプライン内のカーネルおよび融合演算を通してピクセル値をストリームさせることによって、リアルタイムで提供される。好ましくは、パイプライン内の同期モジュールは、センサから着信するピクセル値のストリームを同期させる。これは、例えば、第１のセンサからの６０番目のピクセルがカーネル演算に進むと、他のセンサのそれぞれからの６０番目のピクセルもまた同時にカーネル演算に進むことを意味する。その結果、異なるセンサ上の対応するピクセルからのピクセル値は、パイプラインを通して同期してフローする。これは、２つのことを可能にする。第１に、同期モジュールは、複数のセンサからシステムへのデータ到着時間における僅かな段階相違を補正することができる。第２に、同期は、カーネル演算が、画像センサのうちの１つ上の具体的ピクセルからの所与のピクセル値に関して、そのセンサ上のピクセルを囲繞する近傍からの値を考慮し、また、画像センサの別のもの上の対応するピクセルの近傍からの値も考慮することを可能にする。これは、カーネル演算が、同一または別のセンサ上の周囲近傍からの値のパターンに基づいて、１つのセンサからの飽和されているピクセルに関する推定値を作成することを可能にする。

パイプラインは、随意に、複数のセンサのそれぞれのスペクトル特性における差異を補正してもよい。ビーム分割器、レンズ、またはフィルタ等の光学構成要素は、スペクトル的に中立であると主張される場合でも、伝送される光の量に若干の波長依存差を有し得る。すなわち、各画像センサは、その独自の「色補正空間」を有すると言え、それによって、そのセンサからの画像は、その色補正空間から真の色に補正される必要がある。光学システムは、較正されることができ（例えば、較正カードの写真を撮影することによって）、色補正行列が、画像センサ毎に、判定および記憶されることができる。ＨＤＲビデオパイプラインは、次いで、ピクセル値を１つのセンサから別のセンサの色補正空間に向かって調節する反直感的ステップを行うことができ、これは、ある場合には、色を真の色から微調整することを伴い得る。これは、１つのセンサからのＲＧＢ値のベクトルを他のセンサの色補正行列の逆行列によって乗算することによって遂行されてもよい。第２のセンサに対する本色補正後、ストリームは、融合され、結果として生じるＨＤＲビデオ信号は、真の色に色補正される（例えば、ＲＧＢベクトルを適用可能な色補正行列によって乗算することによって）。本演算は、各画像センサのスペクトル差を考慮する。

好ましいパイプラインは、以下の発明を実施するための形態に詳細に説明されるような他の処理モジュールを含む。

ある側面では、本発明は、高ダイナミックレンジ（ＨＤＲ）および低ダイナミックレンジ（ＬＤＲ）ディスプレイのためのビデオをストリームさせるための方法を提供する。本方法は、ピクセル値をＨＤＲビデオカメラ上の複数の画像センサから受信し、ＨＤＲ信号を生成するステップと、ＨＤＲ信号を処理し、ＬＤＲ信号および残留信号を備える、出力信号を生成するステップと、受信と伝送との間に１つ未満の遅延のフレームを伴って、ＨＤＲおよびＬＤＲディスプレイのための出力信号を伝送するステップとを含む。ＨＤＲ信号を処理するステップは、ＨＤＲビデオをトーンマッピングし、ＬＤＲ信号を生成し、ＬＤＲ信号をＨＤＲ信号から減算し、残留信号を生成するステップを含んでもよい。ＬＤＲビデオは、例えば、ＭＰＥＧエンコーダを使用して、圧縮されてもよい。出力信号は、ＬＤＲディスプレイによって８ビットビデオとして表示可能であって、ＨＤＲディスプレイによってＨＤＲビデオとして表示可能である。

ある実施形態では、ＨＤＲ信号は、飽和されているピクセル値を識別する、カーネル演算と、ピクセル値を融合し、ＨＤＲ信号を生成する、融合演算とを含む、パイプラインによって、ピクセル値から生成される。好ましくは、複数の画像センサは全て、単一レンズを通して画像を同時に捕捉する。本方法は、入射光をレンズを通して受信し、少なくとも１つのビーム分割器を介して、光を複数の画像センサ上に分割するステップを含んでもよく、レンズによって集められた光の少なくとも９５％は、複数の画像センサによって捕捉される。

複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含んでもよく、シーケンスの融合は、飽和されていないＨＥピクセル値および飽和されているピクセル値に対応するＭＥピクセル値の使用を含んでもよい。複数の画像センサはさらに、低露光（ＬＥ）センサを含んでもよい。好ましい実施形態では、複数の画像センサは、光レベル以外は光学的に同じ画像を捕捉する。

本方法は、リアルタイムで動作し、依然として、カーネル演算を通して、後に着信するピクセル値をストリームさせながら、ピクセル値の一部の融合を開始するステップを含んでもよい。

パイプラインは、処理デバイス（例えば、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路）によって提供されてもよく、画像センサはそれぞれ、カラーフィルタアレイを含んでもよい。いくつかの実施形態では、本方法は、融合ステップ後、ＨＤＲ信号をデモザイク処理するステップを含む。
本明細書は、例えば、以下の項目も提供する。
（項目１）
高ダイナミックレンジ（ＨＤＲ）および低ダイナミックレンジ（ＬＤＲ）ディスプレイのためのビデオをストリームさせるための方法であって、前記方法は、
フレーム独立ピクセル値をＨＤＲビデオカメラ上の複数の画像センサから受信し、ＨＤＲ信号を生成するステップと、
前記ＨＤＲ信号を処理し、ＬＤＲ信号および残留信号を備える出力信号を生成するステップと、
ＨＤＲおよびＬＤＲディスプレイのための前記出力信号を伝送するステップと、
を含む、方法。
（項目２）
前記ＨＤＲ信号を処理するステップは、ＨＤＲビデオをトーンマッピングし、前記ＬＤＲ信号を生成し、前記ＬＤＲ信号を前記ＨＤＲ信号から減算し、前記残留信号を生成するステップを含む、項目１に記載の方法。
（項目３）
ＭＰＥＧエンコーダを使用して、ＬＤＲビデオを圧縮するステップをさらに含む、項目２に記載の方法。
（項目４）
前記出力信号は、ＬＤＲディスプレイによって８ビットビデオとして表示可能であり、ＨＤＲディスプレイによってＨＤＲビデオとして表示可能である、項目１に記載の方法。
（項目５）
前記ＨＤＲ信号は、
飽和されているピクセル値を識別するカーネル演算と、
前記ピクセル値を融合し、前記ＨＤＲ信号を生成する融合演算と、
を含むパイプラインによって、前記ピクセル値から生成される、項目１に記載の方法。
（項目６）
前記複数の画像センサは全て、単一レンズを通して画像を同時に捕捉する、項目５に記載の方法。
（項目７）
入射光を前記レンズを通して受信し、少なくとも１つのビーム分割器を介して、前記光を前記複数の画像センサ上に分割するステップをさらに含み、撮像レンズによって集められた前記光の少なくとも９５％は、前記複数の画像センサによって捕捉される、項目６に記載の方法。
（項目８）
前記複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含み、シーケンスの融合は、飽和されていないＨＥピクセル値および前記飽和されているピクセル値に対応するＭＥピクセル値の使用を含む、項目６に記載の方法。
（項目９）
前記カーネル演算を通して、後に着信するピクセル値を依然としてストリームさせながら、前記ピクセル値の一部の融合を開始するステップをさらに含む、項目６に記載の方法。
（項目１０）
前記パイプラインは、フィールドプログラマブルゲートアレイおよび特定用途向け集積回路から成る群から選択された処理デバイスによって提供され、さらに、前記画像センサのそれぞれは、カラーフィルタアレイを備え、前記方法はさらに、前記融合ステップ後、前記ＨＤＲ信号をデモザイク処理するステップを含む、項目９に記載の方法。
（項目１１）
複数の画像センサは、光レベル以外は光学的に同じ画像を捕捉する、項目１０に記載の方法。

図１は、リアルタイムＨＤＲビデオを生成するための方法のステップを示す。 図２は、ＨＤＲビデオ処理のための装置を示す。 図３は、複数のセンサのための配列を示す。 図４は、リアルタイムＨＤＲビデオ装置上の処理デバイスを示す。 図５は、同期モジュールの動作を示す。 図６は、ピクセル値がカーネル演算に提示される方法を図示する。 図７は、パイプラインをモデル化するアプローチを示す。 図８は、アーチファクトを回避するための融合を図示する。 図９は、ピクセル値を調節するために使用されるカメラ応答曲線を示す。 図１０は、色補正プロセスを示す。 図１１は、組み合わせられたＨＤＲをブロードキャストするための方法を図示する。

図１は、ＬＤＲおよびＨＤＲ表示のためにリアルタイムでビデオをブロードキャストするための方法１０１のステップを示す。方法１０１は、光を撮像装置のレンズを通して受信するステップ１０７を含む。１つまたはそれを上回るビーム分割器が、光を複数の画像センサ上に衝突する異なる経路の中に分割する１１３。各画像センサは、次いで、センサのピクセル毎に、ピクセル値の形態で信号を捕捉する１２５。センサが、例えば、１９２０×１０８０ピクセルを有する場合、ピクセル値は、センサから接続される処理デバイスにストリームさせるであろう。本方法は、フレーム独立様式において、処理デバイス２１９上のパイプライン２３１を通して複数のセンサのそれぞれからのピクセル値５０１をストリームさせるステップ１２９を含む。パイプライン２３１は、飽和されているピクセル値を識別する、カーネル演算１３５を含む。ピクセル値５０１は、融合される１３９。典型的には、融合された画像は、デモザイク処理され１４５、これは、ＨＤＲ画像を生成する。ＨＤＲ画像は、トーンマッピングされ、ＬＤＲ画像を生成する。

次いで、ＬＤＲ画像の値は、ＨＤＲ画像の値から減算され、残留物のセットを判定する。ＬＤＲ画像および残留物は、組み合わせられた画像信号の中に組み合わせられ、これは、ブロードキャストされる１５１。

組み合わせられた画像信号は、従来のＬＤＲディスプレイデバイスによって、また、ＨＤＲディスプレイデバイスによって受信および表示されることができる。その意味において、リアルタイムＨＤＲビデオカメラは、後方互換性があり、従来のＬＤＲディスプレイデバイスによって表示されることができる、ＨＤＲビデオのライブかつリアルタイムのブロードキャストを提供する。ＬＤＲデバイスは、８ビットＬＤＲ信号のみを「確認」および表示する。任意のＨＤＲデバイスは、信号を解凍し、ＬＤＲ信号と残留物を組み合わせ、フルＨＤＲ信号を再構成する。

説明される方法１０１では、複数の画像センサは全て、単一レンズ３１１を通して画像を同時に捕捉する１２５。パイプライン２３１およびカーネル演算１３５は、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路等の集積回路によって提供されてもよい。画像センサはそれぞれ、カラーフィルタアレイ３０７を含んでもよい。好ましい実施形態では、方法１０１は、融合するステップ１３９後、ＨＤＲ画像をデモザイク処理するステップ１４５を含む。複数の画像センサは、好ましくは、光レベル以外は光学的に同じ画像を捕捉する。

本発明の特徴は、ピクセル値５０１が、フレーム独立様式においてパイプライン処理されることである。ピクセル値５０１のシーケンスは、処理デバイス２１９を通してストリームされ１２９、ピクセル値５０１を画像センサ上の全てのピクセルから受信することを待機せずに、融合される１３９。これは、処理デバイス２１９上のいずれの場所も、完全な画像を記憶しないように、取得ステップ１２５、ストリームステップ１２９、および融合ステップ１３９が、処理デバイス２１９上のパイプライン２３１を通してピクセル値５０１のシーケンスをストリーム１２９させることによって行われ得ることを意味する。ピクセル値が、パイプラインを通してストリームされるため、最終ＨＤＲビデオ信号は、リアルタイムで生成される。装置２０１は、方法１０１のステップを行い、したがって、リアルタイムＨＤＲビデオカメラの機能を提供する。リアルタイムは、カメラからのＨＤＲビデオが、カメラが場面を捕捉することと本質的に同時に表示され得ることを意味する（例えば、信号がセンサからディスプレイに進む速度からビデオのフレームを上回らない待ち時間を差し引いた速度であり、これは、現在の技術水準では典型的には１／６０秒である）。画像データを後処理する要件が存在せず、画像の「フレーム」全体を捕捉、記憶、比較、または処理する要件も存在しない。

出力は、方法１０１および装置２０１が、異なる露光レベルにおける複数のセンサを使用して、複数の同型画像（すなわち、光レベル以外は同じである）を捕捉し、それらを融合するため、ＨＤＲビデオ信号となる。高露光（ＨＥ）センサからのデータは、画像の一部が暗い場合に使用され、中間露光（ＭＥ）（またはそれより低い）センサからのデータは、画像の一部がより明るく照明される場合に使用される。方法１０１および装置２０１は、ＨＥおよびＭＥ（および随意にＬＥ）画像を融合し、ＨＤＲビデオ信号を生成する。具体的には、方法１０１および装置２０１は、画像内の飽和されているピクセルを識別し、それらの飽和されているピクセルとより低い露光のセンサから導出された値を置換する。好ましい実施形態では、画像センサのうちの１つ上の第１のピクセルからの第１のピクセル値は、いくつかの規定されたレベルを上回る、例えば、最大可能ピクセル値の少なくとも９０％である場合、飽和として識別される。

図２は、ＨＤＲビデオ処理のための装置２０１を示す。装置２０１は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）等の処理デバイス２１９を含む。複数の画像センサ２６５は、処理デバイス２１９に結合される。装置２０１は、フレーム独立様式において、処理デバイス２１９上のパイプライン２３１を通して複数の画像センサ２６５のそれぞれからのピクセル値５０１をストリームさせるように構成される。パイプライン２３１は、飽和されているピクセル値５０１を識別する、カーネル演算４１３と、ピクセル値５０１を融合し、ＨＤＲ画像を生成する、融合モジュールとを含む。

カーネル演算４１３は、ＨＥセンサ２１３上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍６０１からの値を検査し、ピクセルの近傍６０１内の飽和されている値を見出し、ＭＥセンサ２１１上の対応する近傍６０１からの情報を使用して、所与のピクセルに関する値を推定することによって、ピクセル値５０１が複数の画像センサ２６５のそれぞれからストリームされるにつれて、それらに作用する。

装置２０１の種々の構成要素は、印刷回路基板２０５を介して、接続されてもよい。装置２０１はまた、メモリ２２１と、随意に、プロセッサ２２７（ＡＲＭマイクロコントローラのような汎用プロセッサ等）とを含んでもよい。装置２０１はさらに、入出力デバイス２３９またはディスプレイ２６７のうちの１つまたはそれを上回るものを含む、またはそれに接続されてもよい。メモリは、ＲＡＭまたはＲＯＭを含むことができ、好ましくは、少なくとも１つの有形非一過性媒体を含む。プロセッサは、Ｉｎｔｅｌ（Ｓａｎｔａ Ｃｌａｒａ， ＣＡ）によって商標名ＸＥＯＮ Ｅ７で販売されているプロセッサまたはＡＭＤ（Ｓｕｎｎｙｖａｌｅ， ＣＡ）によって商標名ＯＰＴＥＲＯＮ６２００で販売されているプロセッサ等、当技術分野において公知の任意の好適なプロセッサであってもよい。本発明による入力／出力デバイスは、ビデオディスプレイユニット（例えば、液晶ディスプレイまたはＬＥＤディスプレイ）、キー、ボタン、信号生成デバイス（例えば、スピーカ、チャイム、または光）、タッチスクリーン、加速度計、マイクロホン、セルラー無線周波数アンテナ、メモリカードのためのポート、および、例えば、ネットワークインターフェースカード（ＮＩＣ）、Ｗｉ−Ｆｉカード、またはセルラーモデムであることができる、ネットワークインターフェースデバイスを含んでもよい。装置２０１は、記憶デバイス２４１を含む、またはそれに接続されてもよい。複数のセンサは、好ましくは、複数のセンサ２６５が光レベル以外は同じ画像を同時に受信することを可能にする、配列で提供される。

図３は、複数のセンサ２６５のための配列を示す。複数のセンサは、好ましくは、少なくとも、高露光（ＨＥ）センサ２１３と、中間露光（ＭＥ）センサ２１１とを含む。各画像センサは、その独自のカラーフィルタアレイ３０７を有してもよい。カラーフィルタアレイ３０７は、各ピクセルが赤色、緑色、または青色光のいずれかを受信するように、Ｂａｙｅｒフィルタとして動作してもよい。当技術分野において公知のように、Ｂａｙｅｒフィルタは、センサからストリームされるピクセル値のシーケンスが、赤色、緑色、青色、緑色、赤色、緑色、青色、緑色、赤色、緑色、青色、緑色、…等に関する値に対応するように、赤色、緑色、青色、緑カラーフィルタの反復グリッドを含む。

図３に示されるように、装置２０１はまた、レンズ３１１および少なくとも１つのビーム分割器３０１を含む、または光学的に接続されてもよい。ＨＥセンサ２１３、ＭＥセンサ２１１、レンズ３１１、および少なくとも１つのビーム分割器３０１は、光の入射ビーム３０５を受信し、光のビーム３０５を、少なくとも、ＨＥセンサ２１３上に衝突する第１の経路と、ＭＥセンサ２１１上に衝突する第２の経路とに分割するように配列される。好ましい実施形態では、装置２０１は、３つの撮像センサ上に同時に集束されるように、部分的反射性表面のセットを使用して、単一撮影レンズ３１１からの光を分割する。好ましい実施形態では、光は、ビーム分割器のうちの１つを通して２回逆指向され、３つのサブ画像は赤色、緑色、および青色に分割されず、代わりに、その光レベル以外は光学的に同じである。図３に示される、本設計は、装置が、カメラに進入する光の大部分を使用して、ＨＤＲ画像を捕捉することを可能にする。

いくつかの実施形態では、光学分割システムは、空気／プラスチック界面におけるＦｒｅｓｎｅｌ反射に依拠し、したがって、その実際の透過率／反射率（Ｔ／Ｒ）値が角度の関数である、２つの皮膜されていない２ミクロン厚のプラスチックビーム分割器を使用する。ガラスもまた、好適な材料オプションである。一実施形態では、第１のビーム分割器３０１は、４５°角度であって、９２／８の近似Ｔ／Ｒ比率を有し、これは、カメラレンズ３１１からの光の９２％が、第１のビーム分割器３０１を通して伝送され、高露光（ＨＥ）センサ２１３上に直接指向されることを意味する。ビーム分割器３０１は、第１のものと同一光学性質を有するが、光経路に対して９０°角度に位置付けられ、９４／６の近似Ｔ／Ｒ比率を有する、第２の皮膜されていないビーム分割器３１９に向かって、レンズ３１１からの光の８％を上向きに反射させる（図３に示されるように）。

上向きに反射された全光の８％のうち、９４％（または全光の７．５２％）は、第２のビーム分割器３１９を通して伝送され、中間露光（ＭＥ）センサ２１１上に集束される。この上向きに反射された光の他の６％（または全光の０．４８％）は、第２のビーム分割器３１９によって、第１のビーム分割器３０１（再び、４５°である）に向かって下方に逆反射され、それを通して９２％（または全光の０．４４％）が、低露光（ＬＥ）センサ２６１上に伝送および集束される。本配列を用いることで、ＨＥ、ＭＥおよびＬＥセンサは、それぞれ、カメラレンズ３１１によって集められた全光の９２％、７．５２％、および０．４４％を用いて画像を捕捉する。したがって、カメラレンズ３１１によって集められた全光のうちの合計９９．９６％が、画像センサによって捕捉される。したがって、ＨＥおよびＭＥ露光は、１２．２倍（３．６１絞り値）分離され、ＭＥおよびＬＥは、１７．０倍（４．０９絞り値）分離され、これは、本構成がセンサのダイナミックレンジを７．７絞り値拡張させるように設計されることを意味する。

本ビーム分割器配列は、装置２０１を光効率的にする。すなわち、レンズ３１１によって集められた全光のわずか０．０４％のみが、無駄となる。これはまた、全３つのセンサが同一場面を「確認」することを可能にし、したがって、全３つの画像は、その光レベル以外は光学的に同じである。当然ながら、描写される実施形態２０１の装置では、ＭＥ画像は、奇数回の反射を受け、したがって、他の画像と比較して、左右反転されるが、これは、ソフトウェア内で容易に修正される。好ましい実施形態では、３つのセンサは、独立して、直接、同期モジュールを含む、パイプラインの中に入射ピクセル値をストリームさせる。本同期モジュールは、複数のセンサからシステムへのデータ到着時間における僅かな段階相違を補正することができる。

したがって、ビーム分割器３０１は、光の大部分を第１の経路に、光のより少ない量を第２の経路に指向することが分かる。好ましくは、第１の経路および第２の経路は、それぞれ、ＨＥセンサ２１３およびＭＥセンサ２１１上に衝突し、光レベル以外は光学的に同じ画像を生成する。描写される実施形態では、装置２０１は、低露光（ＬＥ）センサを含む。

好ましい実施形態では、ピクセル値は、シーケンスで、ＨＥセンサ２１３、ＭＥセンサ２１１、およびＬＥセンサ２６１から、直接、処理デバイス２１９にストリームされる。それらのシーケンスは、それらが処理デバイス２１９上に到着するにつれて同期されなくてもよい。

図３によって示されるように、方法１０１は、入射光をレンズ３１１を通して受信するステップ１０７と、少なくとも１つのビーム分割器３０１を介して、光を複数の画像センサ上に分割するステップ１１３とを含んでもよく、光の入射ビーム３０５の少なくとも９５％は、複数の画像センサによって捕捉される。

装置２０１は、（１）運動を考慮するための画像操作を必要としない、光学的に整合された複数の露光画像を同時に捕捉し、（２）利用可能な画像センサのダイナミックレンジを拡張し（我々の現在のプロトタイプでは、７撮影絞り値を上回って）、（３）実装が安価であって、（４）単一の標準的カメラレンズ３１１を利用し、（５）レンズ３１１からの光を効率的に使用する。

方法１０１は、好ましくは、（１）露光において３を上回る絞り値分だけ分離された画像を組み合わせ、（２）事前にデモザイク処理されたピクセルデータを空間的に混成し、望ましくないアーチファクトを低減させ、（３）放射輝度的に正しいＨＤＲ画像を生成し、（４）利用可能な最高忠実性（最低量子化雑音）ピクセルデータを使用する。装置２０１は、種々の異なるセンサタイプと協働することができ、カメラレンズとセンサとの間に位置するビーム分割器に基づいて、光学アーキテクチャを使用する。

図４は、装置２０１上の処理デバイス２１９を示す。記載されるように、処理デバイス２１９は、１つまたはそれを上回るＦＰＧＡ、ＡＳＩＣ、または他の集積回路によって提供されてもよい。センサからのピクセル値は、処理デバイス２１９上のパイプライン２３１を通してストリームされる。処理デバイス２１９内のパイプライン２３１は、ピクセル値５０１がフローする順序において、ピクセル値５０１が処理デバイス２１９上に複数の画像センサ２６５からストリームされるにつれて、ピクセル値５０１を同期させるための同期モジュール４０５と、カーネル演算４１３と、融合モジュール４２１と、デモザイク処理モジュール４２５と、トーンマッピングオペレータ４２７とを含む。

トーンマッピングオペレータ４２７は、ＬＤＲ信号を生成する。圧縮モジュール４３１は、ＨＤＲ信号からＬＤＲ信号を減算し、結果として生じる残りをＬＤＲ信号と再び組み合わせ、組み合わされた信号をブロードキャストのために伝送する。

パイプライン２３１は、色補正モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュール等の１つまたはそれを上回る補助モジュールを含んでもよい。

図５は、ピクセル値５０１が処理デバイス２１９上に複数の画像センサ２６５からストリームされるにつれて、ピクセル値５０１を同期させるための同期モジュール４０５の動作を示す。図５に描写されるように、ＨＥ＿１ピクセル値およびＭＥ＿１ピクセル値は、同期モジュール４０５にほぼ同時に到着する。しかしながら、ＨＥ＿２ピクセル値は、ＭＥ＿２と比較して遅れて到着し、ＬＥピクセル値のシーケンス全体が、遅れて到着するであろう。同期モジュール４０５は、先に到着したピクセル値を巡回させ、それらを対応する後に着信するピクセル値と同時に解放する、小ラインバッファを含有することができる。同期されたピクセル値は、次いで、パイプライン２３１を通してカーネル演算４１３にストリームされる。

図６は、ピクセル値がカーネル演算４１３に提示される方法を図示する。図６の上部分は、ＨＥセンサ２１３を描写する。各正方形は、センサ２１３の１つのピクセルを描写する。白色中心を伴う、塗り潰された黒色ボックスは、考慮のための所与のピクセル６１５と、所与のピクセル６１５を囲繞するピクセルの近傍６０１とを図示するように描かれている。塗り潰された黒色ボックスは、実際には、センサ２１３（ＣＭＯＳ動画撮影用カメラセンサ等）上には現れず、単に近傍６０１が含むものを図示し、近傍６０１がピクセル値５０１のシーケンス６２１がカーネル演算４１３に提示されるときに現れる状態を理解することを補助するために描かれている。

図６の下部分は、同期モジュール４０５後、それらがカーネル演算４１３の中にストリームされるにつれたピクセル値のシーケンス６２１を示す。センサ２１３上のピクセルの近傍６０１からのピクセル値５０１は、依然として、例証を補助するために、「黒く塗り潰されている」。考慮下の所与のピクセル６１５は、２つの黒色ピクセルによって両側が囲繞されているため、センサ上のピクセルの列から容易に見分けることができる。２つのシーケンス６２１が存在し、そのうちの１つは、描写されるＨＥセンサ２１３から生じ、そのうちの１つは、ＭＥセンサ２１１から生じる。

ピクセル値５０１をカーネル演算４１３を通してストリームさせるステップは、ＨＥセンサ２１３上の第１のピクセル６１５を囲繞するピクセルの近傍６０１からの値を検査し、ピクセルの近傍６０１内の飽和されている値を見出し、ＭＥセンサ２１１からの対応する近傍６１３からの情報を使用して、第１のピクセル６１５に関する値を推定するステップを含む。これは、以下により詳細に説明されるであろう。これを遂行するために、処理デバイスは、異なるセンサからの対応するピクセル値間で比較を行わなければならない。これは、考慮下のピクセル６１５を近傍６０１からの各ピクセルに隣接させて、かつ別のセンサ上の対応する近傍からの各ピクセルに隣接させて設置する方式において、ピクセル値をカーネル演算を通してストリームさせることが有用であり得る。

図７は、パイプラインが、以下のピクセル値、すなわち、センサ２１３上の右に１つ目のピクセルからのピクセル値、センサ２１３上の右に２つ目のピクセルからのピクセル値、左に１つ目のピクセルからのピクセル値、左に２つ目のピクセルからのピクセル値のそれぞれに隣接させて現在のピクセル６１５を設置するように、回路をモデル化するアプローチを示す。図７に示されるように、データは、パイプラインの本部分の中にフローし、そして４回コピーされる。コピー毎に、異なりかつ特定の量の遅延が、主分岐に追加される。５つのコピー全てが、並行してフローし続ける。したがって、全５つのコピーにわたる同時スナップショットは、所与の現在のピクセル値６１５および近傍６０１からの他のピクセル値を網羅する。このように、現在処理されているピクセルの両側のピクセル値が、現在処理されているピクセルとともに、その処理ステップにおいて使用されることができる。したがって、処理デバイスは、同時に、所与のピクセルのピクセル値を読み取り、近傍の値と比較することができる。図７に図示されるアプローチは、比較のために、上側近傍および下側近傍、対角線近傍、ならびに別のセンサ上の対応する近傍からのピクセル値に拡張されることができる。したがって、いくつかの実施形態では、ピクセル値５０１をカーネル演算４１３を通してストリーム１２９させるステップは、一時的に、第１のピクセルからの値をピクセルの近傍６０１から生じる各値に近接させて設置する、ピクセル値５０１を処理デバイス２１９内の経路６２１を通してストリーム１２９させるステップを含む。

近傍比較は、飽和されているピクセルに関する置換値を使用すべきかどうかと、どの置換値を使用すべきかとを判定するために使用されてもよい。近傍比較を使用するアプローチは、融合の議論の後に以下でさらに議論される。置換値は、ピクセル値５０１のシーケンス６２１が融合モジュール４２１によって融合１３９されるときに使用されるであろう。融合１３９するステップは、飽和されているピクセル値５０１の少なくともいくつかをＨＤＲ画像から除外する。

異なる露光を伴うＬＤＲ画像のセットからのＨＤＲ画像を融合するための以前のアルゴリズムは、典型的には、ＬＤＲ画像をデモザイク処理し、近傍ピクセル情報を考慮せずに、データをピクセル毎に融合した後に行われる。

最小数のカメラセンサを用いて可能な最広ダイナミックレンジを捕捉するために、ＬＤＲ画像を従来のＨＤＲ取得方法を用いてよりも露光においてさらに離して位置付けることが好ましい。先行技術方法は、量子化および雑音効果のため、望ましくないアーチファクトをもたらし、それらの問題は、あるトーンマッピングオペレータ（ＴＭＯ）が適用されるとき、悪化される。それらのＴＭＯは、ダイナミックレンジが圧縮されると、画像内で僅かな勾配差を増幅させ、それらを可視にし、融合アーチファクトも同様に増幅させる。

図８は、アーチファクトを低減させる（例えば、参照することによって組み込まれる、「Ｄｅｂｅｖｅｃ ａｎｄ Ｍａｌｉｋ， １９９７， Ｒｅｃｏｖｅｒｉｎｇ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｒａｄｉａｎｃｅ ｍａｐｓ ｆｒｏｍ ｐｈｏｔｏｇｒａｐｈｓ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ １９９７：３６９−３７８」における融合アルゴリズムで使用される加重係数と比較して）、融合のアプローチを図示する。図８における「ＨＥセンサ」、「ＭＥセンサ」、および「ＬＥセンサ」バーは、３つのセンサによって測定された場面照明の範囲を提示する。

例証のために、本システムは、１６のみの一意の明るさ値を測定し、センサが、露光において１絞り値のみ（２倍）分離される、４ビットセンサ（装置２０１内で使用され得るような１２ビットセンサとは対照的に）を用いて簡略化される。ＣＭＯＳセンサは、略線形関係を入射露光とその出力値との間に呈するため、３つのセンサからの値は、従来の対数スケールの代わりに、入射放射照度の線形関数としてグラフ化される。

常時、Ｄｅｂｅｖｅｃ ａｎｄ Ｍａｌｉｋのもの等の単純加重関数を用いて、全３つのセンサからのデータを使用する、先行技術アルゴリズムによる画像の融合は、アーチファクトを導入する。先行技術では、各センサからのデータは、点線によって示されるように、三角関数を用いて加重され、したがって、ＬＥセンサからのデータが、ＨＥセンサのものより粗く量子化される場合でも、低明るさ値（示されるサンプル照明レベルのように）におけるＬＥセンサからの寄与は、ゼロではない。

本発明の方法は、対照的に、可能な限りより高い露光センサからのデータ値を使用し、飽和の近傍にあるとき、次により暗いセンサからのデータ内に混成させる。

図８は、ＬＥセンサが場面放射照度を他の２つのセンサより粗く測定することを示す。例えば、ＨＥセンサは、ＬＥセンサが単一インクリメントを記録する前に、勾配内で４つの異なるピクセル値を測定し得る。加えて、常時、ある程度の少量の雑音がピクセル値に存在し、ＬＥセンサ内の±１の誤差は、本実施例に関しては、ＨＥセンサ内の１２の値範囲に及ぶ。Ｄｅｂｅｖｅｃａｎｄ Ｍａｌｉｋのアルゴリズムは、これらの値をともに混成するが、方法１０１および装置２０１は、可能である場合、最長露光センサ（より低雑音）のみからのピクセル値を使用し、ピクセルが飽和に近づくと、次により暗い露光内に混成させる。

ある実施形態では、方法１０１および装置２０１は、ＬＤＲ画像を融合するとき、個々のピクセルのみを検査するのではなく、また、脱雑音プロセスに役立てるための付加的情報を提供し得る、近傍ピクセル６０１（図６参照）も考慮する。

本発明による融合１３９の一側面は、可能な最も明るく最も良好に露光されるセンサからのピクセルデータを排他的に使用することである。したがって、ＨＥ画像からのピクセルが、可能な限り使用され、ＭＥ画像内のピクセルは、ＨＥピクセルが飽和に近づく場合のみ使用される。対応するＭＥピクセルが、飽和レベルを下回る場合、ＭＥピクセルがＨＥピクセルを１２．２倍下回る放射照度を受信することを前提として、カメラの応答曲線に基づいて、ＨＥピクセルに関連してそれを調節する、係数によって乗算される。

図９は、ピクセル値を調節するための係数を求めるために使用される、カメラ応答曲線９０１を示す。３センサ実施形態では、ＨＥセンサが飽和レベルを上回るとき、対応するＭＥピクセルが飽和レベルを上回る場合、類似プロセスが、低露光ＬＥ画像内の同一ピクセルに適用される。

それらが飽和するまで、ＨＥセンサからの値を排他的に使用し、次いで、単に、次のセンサに切り替える、「勝者総取り方式」アプローチによる融合は、遷移が生じる場所でバンディングアーチファクトをもたらすことが見出され得る。そのようなバンディングアーチファクトを回避するために、方法１０１および装置２０１は、２つのセンサ間のピクセル値を空間的に混成することによって、１つのセンサから次のセンサに遷移する。これを行うために、方法１０１および装置２０１は、評価されているピクセル６１５の周囲の近傍６０１を走査する（図６参照）。本領域内の任意の近傍ピクセルが飽和される場合、考慮下のピクセルは、ピクセルクロストークまたは漏出を受け得、方法１０１および装置２０１は、近傍６０１内のその近傍に基づいて、ピクセルに関する値を推定するであろう。

方法１０１および装置２０１は、デモザイク処理が飽和されている領域内の色を破損させ得るため、個々のＢａｙｅｒカラーフィルタアレイ画像をデモザイク処理１４５することに先立って、融合１３９を行う。例えば、場面の明るい橙色セクションは、飽和されている赤色ピクセルを有し得る一方、緑色および青色ピクセルは、該当しない。画像が、ＨＤＲに融合される前にデモザイク処理される場合、デモザイク処理された橙色は、飽和されている赤色ピクセルデータおよび非飽和緑色／青色ピクセルデータから算出されるであろう。その結果、橙色セクションの色相は、正しくなく再現されるであろう。これらのアーチファクトを回避するために、方法１０１および装置２０１は、デモザイク処理に先立って、ＨＤＲ融合を行う。

画像が、デモザイク処理ステップに先立って融合されるため、方法１０１および装置２０１は、放射照度の代わりに、ピクセル値を用いて作用する。放射輝度的に正しいＨＤＲ画像を生成するために、方法１０１および装置２０１は、これらが波長の関数として若干変化するため、ピクセル色毎に適切なビーム分割器透過率値を使用して、ＨＥ、ＭＥ、およびＬＥセンサの放射照度レベルを整合させる。方法１０１および装置２０１は、異なる値を使用して、色チャネルのそれぞれを整合させるが、便宜上、プロセスは、平均値を用いて説明される。ピクセル値は、カメラ応答曲線９０１を通して転換され、結果として生じる放射照度は、露光レベル比率（ＨＥ／ＭＥに関しては平均１２．２倍）によって調節され、本新しい放射照度値は、カメラ応答曲線９０１を通して新しいピクセル値に逆転換される。

図９は、ＨＥ、ＭＥ、およびＬＥセンサの放射照度レベルを整合させるための３ステップＨＤＲ変換プロセスを示す。ＨＤＲ変換プロセスは、ピクセル比率曲線に到達するために全てのＨＥピクセル値（例えば、１から４０９６）に対して行われてもよく、これは、同一放射照度に関して各ＭＥピクセル値をＨＥセンサ上の対応するピクセル値に転換するためのスケーリング係数を与える。実際は、別個のピクセル比率曲線が、Ｂａｙｅｒパターンにおいて色（Ｒ、Ｇ、Ｂ）毎に計算される。ピクセル値をＨＥおよびＭＥ画像間（またはＭＥおよびＬＥ画像間）で比較するとき、単純乗算器が、使用されてもよい、またはピクセル比率曲線は、ルックアップテーブル（ＬＵＴ）として使用され、４０９６未満のＨＥピクセル値をＭＥピクセル値に、またはその逆に転換してもよい。ＨＥピクセル値が、飽和されると、ピクセル比率曲線は、そこで得られる最後の値（約８）を使用して拡張される。

カメラ応答曲線９０１は、ブラケット露光のセットを取り、露光とピクセル値（線形ドメイン内のスケール定数内）を関連させる単調増加関数を求めることによって測定されることができる。

図９は、未加工カメラデータから算出された曲線を示すが、線形最良適合から算出された曲線もまた、使用され得る。

図９は、カメラが場面放射照度をピクセル値に転換する方法を示す、カメラ応答曲線を与える。所与のＨＥ値に関してとられるべきＭＥピクセル値を算出するために、ＨＥピクセル値（１）は、最初に、場面放射照度（２）に転換され、これは、次に、１２．２の我々のＨＥ／ＭＥ減衰比率によって除算される。本新しい放射照度値（３）は、カメラ応答曲線を通して予期されるＭＥピクセル値（４）に転換される。本グラフは、略線形であるが、有意な平滑化または線形適合の適用を伴わずに未加工データから算出されるため、それほど完璧ではない。３つの画像の放射照度レベルが整合されると、融合１３９は、行われてもよい。

融合１３９の例証的実施例では、２つの位置合わせされたＬＤＲ画像（１つは、高露光画像ＩＨＥであって、もう１つは、中間露光画像ＩＭＥである）が、ＨＤＲ画像ＩＨＤＲに融合１３９されることになる。融合１３９は、高露光画像ＩＨＥ内の情報を用いて開始され、次いで、必要に応じて、次により暗い露光画像ＩＭＥからのデータ内で組み合わせられる。上記で説明された遷移アーチファクトを低減させるために、方法１０１および装置２０１は、Ｎ（ｘ，ｙ）として示されるように、周囲（２ｋ＋１）×（２ｋ＋１）ピクセル近傍６０１からの情報を考慮することによって、各ピクセル場所（ｘ，ｙ）に作用する。

図６に図示されるようないくつかの実施形態では、方法１０１および装置２０１は、５×５ピクセル近傍６０１（ｋ＝２）を使用して、その値がある特定の量、例えば、最大ピクセル値の９０％（例えば、センサ２１３が１２ビットＣＭＯＳセンサである場合、４０９６）を上回る場合、ピクセルが飽和されていると定義する。
ある実施形態では、融合１３９は、センサ２１３上のピクセル６１５およびその近傍６０１（図６参照）に関する４つのケース毎に、特定の動作を含む。

ケース１：ピクセル６１５は、飽和されておらず、近傍６０１も、飽和されているピクセルを有しておらず、したがって、ピクセル値は、そのまま使用される。

ケース２：ピクセル６１５は、飽和されていないが、近傍６０１が、１つまたはそれを上回る飽和されているピクセルを有し、したがって、近傍内に存在する飽和の量に応じて、ＩＨＥ（ｘ，ｙ）におけるピクセル値と次により暗い露光ＩＭＥ（ｘ，ｙ）におけるものとの間で混成する。

ケース３：ピクセル６１５は、飽和されているが、近傍６０１は、１つまたはそれを上回る飽和されていないピクセルを有し、これは、ＩＨＥ（ｘ，ｙ）に関する値をより良好に推定するために使用され得る。すなわち、近傍内の飽和されていないピクセルと中心ピクセルとの間のＭＥ画像内のピクセル値の比率を計算し、ＭＥ比率の本マップを使用して、考慮下の飽和されているピクセルの実際の値を推定する。

ケース４：ピクセル６１５は、飽和されており、近傍６０１内の全てのピクセルも、飽和されており、したがって、高露光画像からの有効情報は存在せず、ＭＥ画像を使用して、ＩＨＤＲ（ｘ，ｙ）＝ＩＭＥ（ｘ，ｙ）を設定する。

３つのＬＤＲ画像が存在するとき、上記のプロセスは、単に、２回目の反復において繰り返され、ＩＨＤＲとＩＨＥおよびＩＬＥとＩＭＥを置換する。このように、データは、最低露光に向かって進みながら、より高い露光から融合１３９され、より高い露光データが飽和またはその近傍にあるとき、データは、より低い露光からのみ使用される。

これは、全３つの色チャネルを考慮して、図９のものに類似するカメラ応答曲線を使用して、デモザイク処理１４５され、ピクセル値から放射照度に転換され得る、ＨＤＲ画像を生成する。最終ＨＤＲフルカラー画像は、次いで、トーンマッピングされてもよい（例えば、ＦＤＲＴｏｏｌｓ、ＨＤＲ Ｅｘｐｏｓｅ、Ｐｈｏｔｏｍａｔｉｘ等の商業用ソフトウェアパッケージを用いて）

装置２０１は、カメラ本体内に搭載される３つのＳｉｌｉｃｏｎ Ｉｍａｇｉｎｇ ＳＩ−１９２０ＨＤ最高仕様動画撮影用ＣＭＯＳセンサを使用して実装されてもよい。それらのセンサは、標準的Ｂａｙｅｒカラーフィルタアレイとともに、１９２０×１０８０ピクセル（５平方ミクロン）を有し、約１０絞り値（雑音を除外する）のダイナミックレンジを測定することができる。センサは、カメラを小ピンホール光源に照準し、ＨＥセンサを下方に係止し、次いで、止めねじを調節し、ＭＥおよびＬＥセンサを整合させることによって整合される。

カメラ本体は、Ｈａｓｓｅｌｂｌａｄレンズマウントを含み、高性能相互交換可能商業用レンズの使用を可能にしてもよい。ビーム分割器に関して、装置は、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓによって販売されているもの等の皮膜されていないペンシルビーム分割器［製品番号ＮＴ３９−４８２］を含んでもよい。装置２０１は、方法１０１のステップを行ってもよい。好ましくは、複数の画像センサは、少なくとも高露光（ＨＥ）センサ２１３と、中間露光（ＭＥ）センサ２１１とを含み、融合は、飽和されていないＨＥピクセル値５０１と、飽和されているピクセル値に対応するＭＥピクセル値５０１との使用を含む。複数のセンサはさらに、低露光（ＬＥ）センサ２６１を含んでもよく、方法１０１は、ＨＥセンサ２１３およびＭＥセンサ２１１の両方から生じる飽和されているピクセル値５０１を識別するステップを含んでもよい。ピクセル値は、パイプラインを通してストリームされるため、飽和されているピクセル値５０１の少なくともいくつかは、処理デバイス２１９において複数の画像センサの全てのピクセルからの値を受信する前に識別されることが可能であって、方法１０１は、依然として、後に着信するピクセル値５０１をカーネル演算４１３を通してストリーム１２９させながら、シーケンスの一部の融合１３９を開始するステップを含んでもよい。

ビーム分割器、レンズ、またはフィルタ等の光学構成要素は、「スペクトル的に中立」であると標識される場合でも、伝送される光の量に若干の波長依存差を有し得ることを理解されたい。すなわち、各画像センサは、その独自の「色補正空間」を有すると言え、それによって、そのセンサからの画像は、その色補正空間から真の色に補正される必要がある。光学システムは、較正されることができ（例えば、較正カードの写真を撮影することによって）、色補正行列が、画像センサ毎に、記憶されることができる。ＨＤＲビデオパイプラインは、次いで、ピクセル値を１つのセンサから別のセンサの色補正空間に向かって調節する反直感的ステップを行うことができ、これは、ある場合には、色を真の色から微調整することを伴い得る。これは、１つのセンサからのＲＧＢ値のベクトルを他のセンサの色補正行列の逆行列によって乗算することによって遂行されてもよい。第２のセンサに対する本色補正後、ストリームは、融合され、結果として生じるＨＤＲビデオ信号は、真の色に色補正される（例えば、ＲＧＢベクトルを適用可能な色補正行列によって乗算することによって）。この色補正プロセスは、各画像センサのスペクトル差を考慮する。

図１０は、ＨＤＲパイプラインが複数のセンサのそれぞれのスペクトル特性における差異を補正し得る、色補正プロセス１００１を示す。センサ間の若干の波長依存差を補正するために、電子入力と電子出力との間の関係が、既知の入力を使用して実験的に測定されることができる。センサ毎に、補正係数を算出することによって、センサによって検出された情報は、さらなる処理に先立って補正されることができる。したがって、いくつかの実施形態では、パイプライン２３１は、色補正のためのモジュールを含む。色補正プロセスのステップは、パイプラインに沿った複数の場所において適用されてもよく、したがって、色補正は、ＦＰＧＡ上の異なる場所において特定のモジュールを介して実装されてもよい。併せて、それらのモジュールは、色補正プロセス１００１を実装する、色補正モジュールと称され得る。

色補正プロセス１００１は、２つのセンサからの画像を融合する前に、その色補正空間からの１つのセンサのデータを別のセンサの色補正空間に転換する。融合された画像データは、次いで、第３のセンサからの画像データと組み合わせられる前に、その第３のセンサの色補正空間に転換されることができる。プロセスは、所望に応じた数のセンサに関して繰り返されてもよい。全てのセンサの画像が、組み合わせられた後、最終の組み合わせられた画像は、デモザイク処理１４５されてもよく、次いで、真の色に色補正されてもよい。

色補正プロセス１００１は、１つのセンサから次のセンサに色情報を保存するように、２つの画像が一度に融合される段階において、複数のセンサからの画像が融合されることを可能にする。例示的目的のために、図１０では、ＨＥセンサからのＨＥピクセル値は、ＭＥセンサからのＭＥピクセル値と融合される。融合の結果は、次いで、ＬＥセンサからのＬＥピクセル値と融合される。

色補正プロセス１００１をガイドする基本原理は、最初に、暗画像を次の最明画像の色補正空間に転換し、次いで、２つの「非デモザイク処理」（またはカラーフィルタアレイ［ＣＦＡ］Ｂａｙｅｒパターン化）画像をともに融合することである。

色補正プロセス１００１は、ＭＥセンサ、ＬＥセンサ、およびＳＥセンサを伴う装置２０１に関して、３つの一般的段階、すなわち、ＳＥ色補正空間（ＣＣＳ）段階、ＭＥ色補正空間段階、およびＬＥ色補正空間段階を含む。色補正プロセスは、最初に、ＳＥ色補正空間段階から開始し、これは、最初に、ＬＥピクセル値をデモザイク処理１０４５するステップと、次いで、結果として生じるベクトルをＭＥ画像の色補正空間に変換１０５１するステップを含む。デモザイク処理プロセス１０４５は、ピクセル毎に、フルカラーＲＧＢベクトル値をもたらす。

デモザイク処理１０４５された後、ＬＥ画像データが、次に、ＭＥ色補正空間に変換１０４５される。本目的は、ＬＥピクセルの色（ここでは、ＲＧＢベクトルによって説明される）をＭＥアレイの色（ＭＥアレイの色の不完全性の全てを伴う）に整合することである。変換１０５１を行うために、ＬＥ ＲＧＢベクトルは、色補正行列によって変換１０５１される。例えば、等式１−３は、色補正行列を使用して、それぞれ、ＨＥ、ＭＥ、およびＬＥセンサに関する色値を補正する方法を示す。等式１は、色補正行列を使用して、ＨＥセンサの色値を補正する方法を示し、値Ａ１−Ａ９を含む、３×３行列係数は、ピクセル値を強化または弱化させるために選択された係数を表し、ＲＧＢ行列（ＲＬＥ、ＧＬＥ、およびＢＬＥ）は、ＬＥセンサからのデモザイク処理されたＲＧＢ出力信号を表す。ある場合には、３×３行列係数は、デモザイク処理された出力を期待（すなわち、いわゆる「真」）値に対して比較することによって導出されることができる。例えば、３×３行列係数は、デモザイク処理されたＲＧＢ出力値と基準色チャート（例えば、Ｍａｃｂｅｔｈチャート）からの基準値との間の最小２乗多項式モデル化によって導出されることができる。同様に、等式２は、色補正行列を使用して、ＭＥセンサの色値を補正する方法を示し、ＲＧＢ行列（ＲＭＥ、ＧＭＥ、およびＢＭＥ）は、ＭＥセンサからのデモザイク処理されたＲＧＢ出力信号を表し、等式３は、色補正行列を使用して、ＳＥセンサの色値を補正する方法を示し、ＲＧＢ行列（ＲＭＥ、ＧＭＥ、およびＢＭＥ）は、ＳＥセンサからのデモザイク処理されたＲＧＢ出力値を表す。
等式１−［Ａ］、すなわち、ＬＥセンサのための色補正行列を使用してＳＥピクセル値を補正する。

等式２−［Ｂ］、すなわち、ＭＥセンサのための色補正行列を使用してＭＥピクセル値を補正する。

等式３−［Ｃ］、すなわち、ＳＥセンサに関する色補正行列を使用してＳＥピクセル値を補正する。

画像を第１の色補正空間（ＣＣＳ）から第２の色補正空間に転換するために、１つまたはそれを上回るセンサからの色補正行列が、使用されることができる。本プロセスは、色補正空間間の転換または色補正空間の較正と称され得る。第１の色補正空間または第２の色補正空間のいずれも、捕捉された画像の真の色を正確に反映させていない。第１および第２の色補正空間の両方とも、ずれを有し、それらのずれは、一般に、相互から異なる。したがって、各センサからのＲＧＢ値は、真の色として現れるために、それらのＲＧＢ値に関する一意の色補正行列によって乗算されなければならない。
本発明は、画像をＬＥセンサの色補正空間からＭＥセンサの色補正空間に転換するための方法１００１を含み、以下の等式４に図示される。
等式４−ＬＥピクセル値をＬＥ色補正空間からＭＥ色補正空間に転換する。

等式４では、ＬＥセンサのピクセル値（Ｒ、Ｇ、Ｂ）は、ＬＥセンサの補正行列［Ｃ］によって乗算され、次いで、ＭＥセンサの補正行列［Ｂ］の逆行列によって乗算される。結果は、ＭＥセンサの色補正空間内にある、ピクセル値（Ｒ、Ｇ、Ｂ）のセットとなる。

本発明の方法は、２つのセンサからの画像が、正確に組み合わせられる、または融合され得るように、第２のセンサの色補正空間と第１のセンサの色補正空間の整合を可能にする。２つのセンサからの画像をＨＤＲ画像の中に組み合わせることに先立って、第２の色補正空間の全てのずれを第１の色補正空間に適用するための方法は、これまで知られていない。複数のＣＦＡセンサからのデータを組み合わせるための典型的方法は、画像を組み合わせることに先立って、各センサのデータを較正された色カードから測定された「真」値に色補正することに依拠する。これは、ＨＤＲシステムにおいて問題となり、より明るいセンサの画像は、飽和されている有意な部分を有し、その飽和されている部分は、実際には、組み合わせるとき、より暗いセンサの画像から利用されているはずであることが知られている。飽和されているピクセルに基づいて、色情報を有する画像を色補正することは、色を誤識別させるであろう。したがって、ＨＤＲシステムでは、画像を組み合わせることに先立って、より明るい画像（例えば、「真」色値）を色補正することは、色をモザイクパターン化画像から作成する際、飽和されているピクセルデータの使用のため、色が誤識別されることにつながるであろう。本理由から、我々は、以下を規定する。（１）より暗い画像は、その色情報をより明るい画像の色空間に整合するように変換され、（２）本変換されたより暗い画像は、より明るい画像と組み合わせられ、次いで、（３）最終の組み合わせられた画像は、「真」色値に色変換される。

本発明に提供される解決策は、より暗いセンサからのデータの［（ａ）デモザイク処理１０４５、（ｂ）色補正１０５１、および（ｃ）モザイク処理１０５７］ステップを行い、それによって、全てのデータが、より暗いセンサのデータとより明るいセンサのデータを融合するステップに先立って、その非デモザイク処理された状態に正確に戻されることを確実にすることによって、本飽和ピクセル色誤識別問題を回避する。

さらに、２つのセンサからの画像の融合に先立って、本発明は、２つのセンサの色補正空間を整合させる。本変換は、２つの画像（第１および第２の色補正空間センサから）が非デモザイク処理されたフォーマットでピクセル毎に正確に融合され得ることを確実にする。これは、特に、第２のセンサの色補正空間が「真の」色補正空間と異なることが既知であるとき、１つのセンサの色補正空間を第２のセンサの色補正空間に整合させるように変化させるというように、一見、反直感的であるように考えられ得る。しかしながら、これは、（１）より明るいセンサの色情報が融合に先立ってデモザイク処理されないことと、（２）画像の融合に先立って両センサからの色データがともに整合されることとを確実にする際に重要な特徴である。色補正プロセス１００１は、それ自体が処理デバイス２１９上のパイプライン２３１内のカーネルとして実装され得る、行列を使用する。したがって、色補正プロセス１００１は、それらがピクセル値を受信するにつれて、カーネルが適用されるため、ＨＤＲパイプラインワークフローと互換性がある。

ＬＥ情報が、ＬＥ色補正空間からＭＥ色補正空間に変換１０５１された後、変換された値は、モザイク処理１０５７される（すなわち、デモザイク処理プロセスが逆転される）。変換されたスカラーピクセル値は、ここでは、ＭＥセンサによって検出されたＢａｙｅｒパターン化スカラーＭＥピクセル値に比較可能であり、プロセス１００１は、ＭＥおよびＨＥ非デモザイク処理（すなわち、スカラー）センサデータの融合１０６１を含む。

ＭＥ色補正空間内の融合された非デモザイク処理画像は、次いで、デモザイク処理１０６７される。本デモザイク処理１０６４は、上記に説明されるデモザイク処理１０４５に類似するが、デモザイク処理プロセスを受けるＣＦＡピクセル値は、ここでは、ＭＥ色補正空間と関連付けられる。デモザイク処理１０６７は、ＭＥ色空間内のＲＧＢベクトルを生成する。それらのＲＧＢベクトルは、ＨＥ色空間に変換１０７１される一方、また、色補正される（［Ｂ］［Ａ］−１［ＲＧＢ］）。ＭＥ色補正行列は、等式２において上記されたデモザイク処理された色値を用いて決定され得る。色補正されたＭＥ情報は、ＭＥ色補正行列をＳＥ色補正行列の逆行列によって乗算することによって、ＭＥ色補正空間からＨＥ色補正空間に変換１０７１される。

ＭＥ情報が、ＭＥ色補正空間からＨＥ色補正空間に変換１０７１された後、変換されたベクトルは、モザイク処理１０７５される（すなわち、デモザイク処理プロセスが、逆転される）。これは、変換されたＭＥ ＣＦＡ Ｂａｙｅｒパターン化ピクセル値が、ＨＥセンサによって検出されたＨＥピクセル値と融合１０７９することを可能にする。色補正プロセス１００１における本時点で、ＨＥおよびＭＥセンサによって検出された変換された色情報は、ここで、ＨＥセンサによって検出された色情報に整合するように較正される。本新しく融合された色値データセットは、ここでは、ＨＥ色補正空間２０５内の色値を表す。

図１１は、高ダイナミックレンジ（ＨＤＲ）ビデオと低ダイナミックレンジ（ＬＤＲ）ビデオの組み合わせられたブロードキャストのための方法１３０１を図示する。方法１３０１は、ＨＤＲおよびＬＤＲビデオのストリームを提供する。方法１３０１は、センサ１６５のアレイを使用して、一連の画像を表す情報を検出するステップ１２５と、情報を処理するステップ１３０９と、典型的には、１つのフレーム未満の検出と伝送との間の遅延を伴って、ＨＤＲおよびＬＤＲ表示のための情報をリアルタイムで伝送するステップ１３２１とを含む。

色処理後、パイプラインは、ＨＤＲビデオ信号を生成する。そのＨＤＲビデオ信号は、次いで、トーンマッピングされ１３１３、ＬＤＲビデオ信号を生成する。トーンマッピングされた信号は、ＬＤＲ信号として組み合わせられた信号内に含まれる。加えて、トーンマッピングの出力は、残留物を判定するための減算１３１５において使用される。

パイプラインは、リアルタイムで、ＬＤＲ信号をＨＤＲ信号から減算する（ＨＤＲ−ＬＤＲ＝残留物）、減算１３１５のためのモジュールを含むことができる。減算モジュール後のフローは、一対のストリーム、すなわち、ＬＤＲビデオ信号および残留信号である。好ましくは、色情報は全て、ＬＤＲ信号内にある。

ＬＤＲ信号または残留物のいずれかは、任意の好適な圧縮またはエンコーディング（例えば、ＭＰＥＧエンコーディング）を受けてもよい。対のストリームは、８ビットＬＤＲ信号と、ＨＤＲ表示を提供する、残留物とを含む。本デュアル信号は、通信ネットワークを経由してブロードキャストされ、実際、テレビネットワーク、セルラーネットワーク、またはインターネットを経由してブロードキャストされてもよい。信号を受信するデバイスは、そのデバイスの容量に従って、ビデオを表示する。ＬＤＲディスプレイデバイスは、８ビットＬＤＲ信号を「確認」し、ビデオを標準的ダイナミックレンジで表示するであろう。ＨＤＲディスプレイデバイスは、残留物を解凍し、デュアルストリームをＨＤＲ信号（例えば、１２ビット、または、例えば、２２ビット）の中に組み合わせ、ビデオを高ダイナミックレンジで表示するであろう。

したがって、方法１３０１および装置２０１は、リアルタイムＨＤＲビデオ捕捉ならびに単一伝送におけるＨＤＲおよびＬＤＲ出力の同時送達のために使用されてもよい。処理１３０９は、処理デバイス２１９からビデオ（ブロードキャスト）出力までのワークフローを含んでもよい。方法１３０１および装置２０１は、全て同型画像を単一レンズを通して得て、結果として生じるピクセル値をパイプラインを通してストリームさせ、融合されたＨＤＲビデオ信号内の飽和されているピクセルに取って代わる、複数のセンサ等の本明細書に説明される特徴を使用して、リアルタイム処理および相補的ＨＤＲ／ＬＤＲ表示を提供する。方法１０１および装置２０１はそれぞれ、センサのアレイを使用して、ビデオ情報を捕捉し、そのビデオ情報をリアルタイムで処理し、ＨＤＲおよびＬＤＲ互換性フォーマットでビデオ情報をリアルタイムで伝送する。

特許、特許出願、特許刊行物、雑誌、書籍、論文、ウェブコンテンツ等の他の文書の参照および引用が、本開示全体を通して行なわれる。そのような文書は全て、あらゆる目的のために、参照することによって、全体として本明細書に組み込まれる。
均等物

本明細書に図示および説明されるものに加え、本発明およびその多くのさらなる実施形態の種々の修正が、本明細書に引用される科学および特許文献の参考文献を含む、本書の全内容から、当業者に明白となるであろう。本明細書における主題は、その種々の実施形態およびその均等物における本発明の実践に適合され得る、重要な情報、例示、および指針を含有する。

Claims (9)

1. 高ダイナミックレンジ（ＨＤＲ）および低ダイナミックレンジ（ＬＤＲ）ディスプレイのためのビデオをストリームさせるための方法であって、前記方法は、
   フレーム独立ピクセル値をＨＤＲビデオカメラ上の複数の画像センサから受信することであって、前記複数の画像センサは全て、単一レンズを通して画像を同時に捕捉する、ことと、
   パイプラインによって前記ピクセル値からＨＤＲ信号を生成することであって、前記パイプラインは、
   飽和されているピクセル値を識別するカーネル演算と、
   前記ピクセル値を融合し、前記ＨＤＲ信号を生成する融合演算と、
   を含む、ことと、
   前記ＨＤＲ信号を処理し、ＬＤＲ信号および残留信号を備える出力信号を生成することと、
   ＨＤＲおよびＬＤＲディスプレイのための前記出力信号を伝送することと、
   を含む、方法。
2. 前記ＨＤＲ信号を処理することは、ＨＤＲビデオをトーンマッピングし、前記ＬＤＲ信号を生成し、前記ＬＤＲ信号を前記ＨＤＲ信号から減算し、前記残留信号を生成することを含む、請求項１に記載の方法。
3. ＭＰＥＧエンコーダを使用して、ＬＤＲビデオを圧縮することをさらに含む、請求項２に記載の方法。
4. 前記出力信号は、ＬＤＲディスプレイによって８ビットビデオとして表示可能であり、ＨＤＲディスプレイによってＨＤＲビデオとして表示可能である、請求項１に記載の方法。
5. 入射光を前記レンズを通して受信し、少なくとも１つのビーム分割器を介して、前記光を前記複数の画像センサ上に分割することをさらに含み、撮像レンズによって集められた前記光の少なくとも９５％は、前記複数の画像センサによって捕捉される、請求項１に記載の方法。
6. 前記複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含み、シーケンスの融合は、飽和されていないＨＥピクセル値および前記飽和されているピクセル値に対応するＭＥピクセル値の使用を含む、請求項１に記載の方法。
7. 前記カーネル演算を通して、後に着信するピクセル値を依然としてストリームさせながら、前記ピクセル値の一部の融合を開始することをさらに含む、請求項１に記載の方法。
8. 前記パイプラインは、フィールドプログラマブルゲートアレイおよび特定用途向け集積回路から成る群から選択された処理デバイスによって提供され、さらに、前記画像センサのそれぞれは、カラーフィルタアレイを備え、前記方法はさらに、前記融合の後に前記ＨＤＲ信号をデモザイク処理することを含む、請求項７に記載の方法。
9. 複数の画像センサは、光レベル以外は光学的に同じ画像を捕捉する、請求項８に記載の方法。
   

Images