JP7143012B2 - ビデオエンコーダおよび符号化方法 - Google Patents

ビデオエンコーダおよび符号化方法 Download PDF

Info

Publication number
JP7143012B2
JP7143012B2 JP2021523940A JP2021523940A JP7143012B2 JP 7143012 B2 JP7143012 B2 JP 7143012B2 JP 2021523940 A JP2021523940 A JP 2021523940A JP 2021523940 A JP2021523940 A JP 2021523940A JP 7143012 B2 JP7143012 B2 JP 7143012B2
Authority
JP
Japan
Prior art keywords
exposure
long
image
short
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021523940A
Other languages
English (en)
Other versions
JP2022508057A (ja
Inventor
グレゴリー ジョン ワード
Original Assignee
ドルビー ラボラトリーズ ライセンシング コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドルビー ラボラトリーズ ライセンシング コーポレイション filed Critical ドルビー ラボラトリーズ ライセンシング コーポレイション
Publication of JP2022508057A publication Critical patent/JP2022508057A/ja
Application granted granted Critical
Publication of JP7143012B2 publication Critical patent/JP7143012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の相互参照
本出願は、２０１８年１１月１９日に出願された米国特許出願第６２／７６９，２２３号および２０１８年１１月１９日に出願された欧州特許出願第１８２０７０２９．２号の優先権を主張するものであり、そのすべての内容が参照により本明細書に組み込まれている。
フィルムおよびビデオに表示されるオブジェクトの見かけのモーションは、一連の静止画像またはフレームが、人間の視聴者がそれらを別個の画像として区別することができるよりも速いフレームレートで表示される光学的錯覚から生じる。このフレームレートは、フリッカー融合しきい値として知られている。より高いフレームレートは一般に、より滑らかな知覚されるモーションをもたらす。しかしながら、高いフレームレート表示のために撮像された画像は短露光時間で撮像され、その結果、センサ媒体に入射する光が減少するためにそのような画像の解像度が低下し、同時にデータ輸送のコストが増大する。露光時間が長くなると、個々の画像内でより大きな詳細を撮像することができるが、これはぼやけたモーションを犠牲にして生じる。したがって、単一の露光速度では、シーンの詳細を撮像することと、シーン内のモーションを正確に撮像することとの間にトレードオフがある。
第１の態様では、画像センサによって撮像されたビデオストリームを符号化するための方法が開示される。画像センサは複数の画素を含み、各画素は、（ｉ）長露光時間と交互になる短露光時間を含む同じ露光時間シーケンスと、（ｉｉ）短露光時間の整数倍に等しいそれぞれの時間的オフセットと、によりそれぞれ特徴づけられるＮ個のサブフレームの１つに属する。この方法は、Ｎ個のサブフレームの各々について、長露光時間で撮像された長露光低解像度画像と、短露光時間で撮像された短露光低解像度画像とを線形結合して、サブフレーム残差画像を生成する。この方法は、Ｎ個のサブフレームからの長露光低解像度画像の少なくともいくつかを結合して、任意の長露光低解像度画像よりも高い解像度を有するフルフレーム長露光画像を生成することも含む。この方法はまた、（ｉ）フルフレーム長露光画像をビデオストリームのベースレイヤに符号化することと、（ｉｉ）Ｎ個のサブフレームからのサブフレーム残差画像の少なくともいくつかをビデオストリームのエンハンスメントレイヤに符号化することと、を含む。
第２の態様では、画像センサによって撮像されたビデオストリームを符号化するためのビデオエンコーダが開示される。画像センサは、第１の態様の複数の画素を含む。ビデオエンコーダは、メモリと、メモリに通信可能に結合されたマイクロプロセッサとを含む。メモリは、非一時的なコンピュータ可読命令を格納し、画像センサによって撮像された画像データを格納するように適合される。マイクロプロセッサは、第１の態様の方法を実行するための命令を実行するように適合される。
一実施形態における、カメラの画像センサによって撮像されたビデオデータを受信するビデオエンコーダを示す図である。 一実施形態における、図１の画像センサの詳細な概略図である。 一実施形態における、図２の画像センサの画素サブアレイ、および対応する時間的オフセット係数の概略図である。 一実施形態における、図３の画素サブアレイのそれぞれのサブフレーム１－Ｎに対応するＮ撮像タイミングの概略図である。 一実施形態における、図４のそれぞれの短露光の時間隔の間にそれぞれの複数の画素によって生成されるサブフレームおよび関連する短露光画素値の概略図である。 一実施形態における、図４のそれぞれの長露光の時間隔の間にそれぞれの複数の画素によって生成されるサブフレームおよび関連する長露光画素値の概略図である。 一実施形態における、図１の画像センサから受信した非符号化ビデオデータから多層ビデオストリームを生成するように構成された第１のビデオエンコーダの概略ブロック図である。 一実施形態における、図７のビデオエンコーダを用いてビデオストリームを符号化するための第１の方法を示すフローチャートである。 一実施形態における、図１の画像センサから受信した非符号化ビデオデータから多層ビデオストリームを生成するように構成された第２のビデオエンコーダの概略ブロック図である。 一実施形態における、図９のビデオエンコーダを用いてビデオストリームを符号化するための第２の方法を示すフローチャートである。
図１は、ビデオ撮像からビデオコンテンツ表示までの様々な段階を示すビデオ配信パイプライン１８０を示す。ビデオ配信パイプライン１８０は、画像生成ブロック１８２、プロダクションブロック１８３、ポストプロダクションブロック１８４、ビデオエンコーダ１００、およびデコーダ１８６のうちの少なくとも１つを含む。図１はまた、ビデオ配信パイプライン１８０に通信可能に結合されたデジタルカメラ１１０を含む。デジタルカメラ１１０は、画像生成ブロック１８２によって受信されたビデオフレーム１０４を生成する画像センサ１１２を含み、画像生成ブロック１８２はビデオデータ１９２を出力する。プロダクションブロック１８３において、ビデオデータ１９２は、ビデオプロダクションストリーム１９３を提供するために編集される。
ビデオプロダクションストリーム１９３のビデオデータは、その後、ポストプロダクション編集のためにポストプロダクションブロック１８４においてプロセッサに提供される。ポストプロダクションブロック１８４でのポストプロダクションに続いて、非符号化ビデオデータ１９４のビデオデータをビデオエンコーダ１００に送り、テレビ、パーソナルコンピュータ、モバイル装置、セットトップボックス、映画館等のような復号および再生装置にダウンストリームで配信することができる。ビデオ配信パイプライン１８０は、ブロック１８２、１８３、および１８４のうちの少なくとも１つを欠いていてもよく、その場合、符号化されていないビデオデータ１９４は、ビデオプロダクションストリーム１９３、ビデオデータ１９２、およびビデオフレーム１０４のうちの１つに等しくてもよい。モバイルアプリケーションなどの特定の実施形態では、プロダクションブロック１８３および／またはポストプロダクションブロック１８４は、電話またはタブレットなどのモバイルデバイスの一部とすることができるデジタルカメラ１１０の能力に基づいて除去または簡略化することができる。
いくつかの実施形態では、エンコーダ１００は、符号化ビットストリーム１９５を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ（登録商標）、および他の配信フォーマットによって定義されるものなどのオーディオエンコーダおよびビデオエンコーダを含むことができる。符号化ビットストリーム１９５は、デコーダ１８６によって復号されて、符号化されていないビデオデータ１９４と同一または近似を表す復号信号１９６を生成する。ターゲットディスプレイ１８９は、復号信号１９６を表示することができる。ターゲットディスプレイ１８９は、基準モニタ、コンピュータモニタまたはディスプレイ、テレビジョンセット、ヘッドマウントディスプレイ、仮想網膜ディスプレイ（ＶＲＤ）などとすることができる。ターゲットディスプレイ１８９は、電話またはタブレットなどのモバイルデバイスの一部であってもよい。
デジタルカメラ１１０は、高いフレームレートでビデオフレーム１０４を撮像することができる。高フレームビデオは、帯域幅およびノイズの問題によって妨げられることがある。一般的に、撮像される画像の数が多いと、パイプラインを下って送られる１秒当たりのビット数が増え、したがって帯域幅に影響を及ぼし、高いフレームレートは、より短い露光時間に変換され、ピクチャに関連するノイズが増加する。しかしながら、高いフレームレートのビデオは、ジャダーおよび過度のぼけのようなモーションアーチファクトの低減を可能にする。
ジャダーは、（例えば、フレーム時間の１／１２の間開いている３０°のシャッタを使用して）ある時間Δｔだけ分離された短い露光によって、非トラッキングモーションが表されるときに発生する。移動物体は１つの場所をフラッシュし、次いで、再び異なる場所をフラッシュし、高コントラストのエッジまたはシルエットは、それらのモーションが滑らかであるべき場所をフラッシュするように見える。
「円滑性追跡運動（ｓｍｏｏｔｈ ｐｕｒｓｕｉｔ）」は視聴者にとって関心があり、および追跡されるモーションを表現し、視聴者の視覚追跡の推定値であり、円滑性追跡運動ベクトルによって定量化することができる。円滑性追跡運動ベクトルを決定するために、目の運動ベクトルはローカル画像のモーションベクトルから減算され、重要な目および物体のモーションベクトルが相殺される領域は円滑性追跡運動に対応する。部分的に相殺するベクトルを使用して、ローカルシャッタ時間を比例的に変更することができる。
ジャダーアーチファクトは、より開いたシャッタを使用することによって回避され得る。しかしながら、３６０°のシャッタは、フレーム持続時間中にモーションが撮像されることを可能にし、結果としてモーションを不鮮明にし、過度のぼけを引き起こす。現在のビデオコンテンツは、これらのシャッタの両極端の間の妥協であり、従って、最適ではない。
高いフレームレートのビデオは、標準ビデオよりも１秒当たりより多くのフレームを提示することによって、これらの問題のいくつかを克服する。しかしながら、それは、送信され、表示される付加的な情報のために、コストがかかる。多くのＬＣＤディスプレイは１２０フレーム／秒（ｆｐｓ）を超えて効率的にリフレッシュすることができず、より高いリフレッシュレートではエネルギー効率および光子効率が低下する。標準ビデオのデータ帯域幅の４～５倍に変換される１２０ｆｐｓにおいてさえ、ジャダーおよび過剰なモーションぼけは、いくつかのコンテンツにおいて明らかである。ジャダーおよびぼけを排除することは、今日の映画の帯域幅の約１７倍である４００ｆｐｓを超えるフレームレートを必要とし得る。本開示は、帯域幅およびディスプレイ技術における関連するコストなしに、より高いフレームレートを提供することができる。
図２は、画像センサ１１２の詳細な概略図である。画像センサ１１２は、複数の画素２１２から形成された画素アレイ２１０を含む。各画素２１２は、画素アレイ２１０のＮ個のサブフレームの１つに属する。ここで、整数Ｎは「サブフレームカウント」と呼ばれ、平方数（ｓｑｕａｒｅ ｎｕｍｂｅｒ）のような正の整数であってもよい。各サブフレームは、（ｉ）長露光時間τ２＞τ１と交互になる短露光時間τ１を含む同じ露光時間シーケンスと、（ｉｉ）短露光時間τ１の整数倍に等しい、それぞれの時間的オフセットΔｔｉと、によって特徴付けられる。言い換えると、すべてのサブフレームに対して同じ露光時間シーケンスが使用され、各サブフレームはそれぞれの時間的オフセットΔｔｉに関連付けられる。サブフレームカウントＮは、（Ｎ－１）が商τ２／τ１に最も近い整数であるように、決定され得る。代替的に、サブフレームＮの数は、τ２／τ１＝Ｎとなるように、露光時間τ１およびτ２の一方または両方を少なくとも部分的に決定する。
画像センサ１１２はカラーフィルタアレイ２４０を含んでもよく、カラーフィルタアレイは、各々が画素アレイ２１０のそれぞれの画素２１２に整列された複数のカラーフィルタを含む。カラーフィルタアレイ２４０はベイヤ－（Ｂａｙｅｒ）アレイであってもよく、各フィルタは赤色光、緑色光、および青色光のうちの１つに対応する電磁放射のスペクトル帯域を透過する。以下、スペクトル帯域を透過するカラーフィルタの下に位置合わせされた画素は、スペクトル帯域に対応する色によってプレフィックスすることができる。例えば、赤色画素２１２、緑色画素２１２、および青色画素２１２は、それぞれ、下にあり、赤色カラーフィルタ、緑色カラーフィルタ、および青色カラーフィルタによって透過された光を検出する。赤色画素２１２、緑色画素２１２、および青色画素２１２によって生成される画素値は、それぞれ、赤色画素値、緑色画素値、および青色画素値として本明細書で参照され得る。画素値は、例えば、０から２Ｍ－１の範囲の整数であり、ここで、Ｍは画素のビット深度である。
サブフレームカウントＮは、カラーフィルタアレイ２４０の異なるカラーフィルタタイプの数の整数倍でもよい。例えば、カラーフィルタアレイが赤色、緑色および青色、またはシアン、マゼンタおよびイエローの３つのカラーフィルタタイプを含む場合、サブフレームカウントＮは、３の整数倍であってもよい。一実施形態では、サブフレームカウントＮ＝９である。長および短露光時間で撮像されたバイナリ画素値のスケーリングの速度および精度のために、商τ２／τ１は２のべき乗に等しいことがある。一実施形態では、（ｉ）Ｎはカラーフィルタアレイ２４０内のカラーフィルタタイプの数の整数倍である、（ｉｉ）（Ｎ―１）は商τ２／τ１に最も近い整数である、（ｉｉ）商τ２／τ１は２のべき乗に等しい、という条件のうちの少なくとも１つが成り立つ。例えば、Ｎは９に等しくてもよいが、一方、τ２／τ１は８に等しくてもよい。
多段タイマ２１４は、画素アレイ２１０に結合され、サブフレームのそれぞれに対して、前記サブフレームの画素の異なる撮像持続時間の少なくとも２つの露光のシーケンスをトリガするように構成される。異なるサブフレームに対応するシーケンスは、所定の順序でトリガされ、後続のシーケンスの開始時間は時間的オフセットΔｔｉによって時間的にオフセットされる。シーケンスは同じ全体持続時間を有し、各時間的オフセットΔｔｉは、前記全体持続時間よりも小さい。
少なくとも１つのアナログ－デジタル変換器（ＡＤＣ）２１６は、画素アレイ２１０に結合され、各サブフレームの少なくとも２つの露光をデジタル画素値に変換する。メモリ２１８は、少なくとも１つのＡＤＣ２１６に結合され、デジタル画素値を記憶する。論理回路２２０は、メモリ２１８に結合され、各画素２１２について、対応する記憶されたデジタル画素値のうちのどれをビデオフレームにアップロードするかを決定する。論理回路２２０は、異なる露光持続時間に基づいて、例えばτ１およびτ２の比に基づいて、記憶されたデジタル画素値をスケーリング、例えば、乗算することができる。例えば、画素２１２が短露光持続時間τ１および長露光持続時間τ２＝ｋ・τ１を含むシーケンスに従って露光されるとき、短露光の記憶されたデジタル画素値はｋによる乗算によってスケーリングされるか、または長露光の記憶されたデジタル画素値はｋ―１による乗算によってスケーリングされる。
図３は、画素サブアレイ３１０の概略図である。図３～６の例において、サブフレームカウントＮ＝９であるが、Ｎは、本発明の範囲から逸脱することなく、異なる値をとることができる。画像センサ１１２の画素アレイ２１０は、複数のサブアレイ３１０に分割される。画素サブアレイ３１０は、Ｓ行およびＴ列に配列された画素２１２を含む。図示の例では、Ｓ＝Ｔ＝３である。しかしながら、本発明の範囲から逸脱することなく、ＳおよびＴのいずれか一方が異なる値をとってもよい。画素アレイ２１０は、複数の画素サブアレイ３１０の、周期的タイリング、例えばテッセレーションを含むことができる。画素サブアレイ３１０の各画素２１２は、それぞれの時間的オフセット係数ｃｉｊに関連付けられ、したがって、図３の画素２１２（ｉ，ｊ）として示される。インデックスｉおよびｊは、それぞれ、１からＳおよび１からＴまでの範囲にある整数である。同じ時間的オフセット係数ｃｉｊに関連付けられた各画素２１２は、画素アレイ２１０の同じサブフレームに属する。
多段タイマ２１４は、各時間的オフセット係数ｃｉｊの値を決定してもよい。時間的オフセット係数ｃｉｊはたとえば、０からＮまでの範囲の整数である。したがって、各時間的オフセット係数ｃｉｊは画素アレイ２１０のＮ個のサブフレームの１つを示し、したがって、本明細書では、「サブフレームインデックス」とも呼ばれる。
時間的オフセット係数ｃｉｊは、次元Ｓ×Ｔを持つ時間的オフセットマトリックスＣを構成する。時間的オフセットマトリックスＣは、どの画素２１２がＮ＝Ｓ×Ｔサブフレームのうちのどれに属するかを定義する。画素アレイ２１０の各画素サブアレイ３１０の画素は、時間的オフセットマトリックスＣに従ってサブフレームに割り当てられる。各サブフレームの画素２１２は、センサ領域にわたって実質的に均一に分布されてもよい。一実施形態では、ビデオフレーム１０４はＦフレーム／秒（ｆｐｓ）のフレームレートで撮像および／または送信され、画素の最短の露光持続時間（例えば、τ１）は総フレーム時間のＮ－１である。Ｎ＝９およびＦ＝３０ｆｐｓの場合、短露光時間は１／２７０秒である。
最短の露光持続時間は、シーケンス間の時間的オフセットと同じであってもよい。図３に示す例示的な実施形態では、０秒（ｃｉｊ＝０の場合）から８／２７０秒（ｃｉｊ＝８の場合）まで、画像内にＮ＝Ｓ×Ｔ＝９の時間的オフセットを表すことができる。オフセットは画素母集団のほぼまたは正確に１／Ｎによって表されてもよく、隣接する画素は（ＮＦ）－１の整数倍だけ異なるオフセットを有してもよい。本開示は、任意のフレームレート、例えば、Ｍｏｖｉｅ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）によって指定されるフレームレートに適用される。
時間的オフセットマトリックスＣにおけるオフセット配置は任意であるが、その結果は画素サブアレイ３１０内の隣接するタイルの隣接するサブフレームインデックス値が例えば少なくとも２Δｔで良好な時間的分離を有するという意味で、オフセットが良好に混合されるならば、より少ないエイリアシングを示し得る。例えば、時間的オフセットマトリックスＣは、任意の２つの水平に隣接する画素、および、画素アレイ２１０の任意の２つの垂直に隣接する画素が、シーケンスがこれらの画素をトリガする所定の順序において、直ちに互いに追従しないように構築される。
この評価に基づいて、単純な走査線順序付けは望ましくない。さらに、時間的オフセットマトリックスＣは、「スクリーンドア効果」を低減するために、フレームごとに回転、シフト、またはスクランブルされてもよい。時間的オフセットマトリックスＣはビデオフレーム１０４を有するメタデータとして送信されるか、または指定された開始点を有する既知のシーケンスから導出可能である限り、オフセットは容易に回復される。フレーム毎に時間的オフセットマトリックスＣをスクランブルすることにより、ディザパターンを視界から隠すことができる。
図４は、画素アレイ２１０のそれぞれのサブフレーム３１０に対応する撮像タイミング４０４の概略図である。図４に示される例示的な撮像タイミング４０４（０、１、２、３、８）は、図３に示される例示的な画素サブアレイ３１０の０、１、２、３、および８にそれぞれ等しいサブフレームインデックスｃｉｊに対応する。多段タイマ２１４はＮ撮像タイミング４０４のうちの１つ（例えば、図３および図４に示す例では９の撮像タイミング４０４）を有するように個々の画素２１２を制御することができるが、図４は図示を明確にするために撮像タイミング４０４（４～７）を図示していない。
図４の例では、Ｎ＝９であり、各シーケンスは短露光時間τ１および長露光時間τ２を含む。シーケンスは同一であるが、時間的オフセットΔｔ＝（ＮＦ）－１によって時間的にオフセットされ、ここでＦ－１はフレーム持続時間である。Ｆ－１＝１／３０秒およびＮ＝９のとき、Δｔ＝１／２７０秒である。図示の例では、短露光時間τ１は時間的オフセットに等しく、長露光時間τ２は（Ｎ－１）／（ＮＦ）に等しい。
図４はまた、時間隔４０１（０）の開始と時間隔４０２（８）の終了との間の時間に対応する時間隔４２０を示す。時間隔４２０には、継続時間（２Ｎ－１）／（ＮＦ）がある。図２は、時間隔４２０中の複数の短露光の時間隔４０１および複数の長露光の時間隔４０２を示す。時間隔４０１は、時間軸４９０上に示される時間ｔ０に始まり、時間軸４９０は時間ｔ０の後に起こるイベントの時間的順序付けを示す。時間隔４０１および４０２は、それぞれの持続時間τ１およびτ２を有し、時間隔４０１および４０２の時間的順序付けを示すサブフレームインデックスｃｉｊによってインデックス付けされる。例えば、時間隔４０１（１）は、時間隔４０１（０）の開始後に始まる。
Ｎ個のサブフレームの１つに属する画素２１２は、それぞれの短露光の時間隔４０１の間に短露光画素値を生成し、それぞれの長露光の時間隔４０２の間に長露光画素値を生成する。
図５は、画素アレイ２１０のそれぞれのサブフレームにそれぞれ対応するサブフレーム５０４の概略図である。画像センサ１１２によって生成されたビデオデータ１９４は、サブフレーム５０４を含むことができる。
サブフレーム５０４（０、１、２、３、８）はそれぞれ、０、１、２、３、８に等しいサブフレームインデックスｃｉｊに対応し、図４に示される関連するそれぞれの撮像タイミング４０４（０、１、２、３、８）を有する。画像センサ１１２はすべてのＮ個のサブフレームを生成するように構成され得るが、図５は説明を明確にするためにサブフレーム５０４（４～７）を図示していない。
各サブフレーム５０４は、それぞれの短露光の時間隔４０１の間にそれぞれの複数の画素２１２によって生成される複数の短露光画素値５０１を含む。例えば、サブフレーム５０４（０）は、時間隔４０１（０）の間、光を感知する画素に対応する短露光画素値５０１（０）を含む。同様に、サブフレーム５０４（１）は、時間隔４０１（１）の間に生成される短露光画素値５０１（１）を含む。画素値５０１（ｃｉｊ）の位置は、図３の画素サブアレイ３１０上に重ね合わされた、時間的オフセットマトリックスＣを含む、ｃｉｊの値に対応する。
図示を簡単にするために、各サブフレーム５０４は、画素サブアレイ３１０の２×２のタイリング内に描かれている。各サブフレーム５０５は、例えば、画素アレイ２１０の同じ画素寸法を有するタイリングなど、画素サブアレイ３１０のより大きなタイリングにまたがる画素値を含んでもよい。
図６は、それぞれの長露光の時間隔４０２の間にそれぞれの複数の画素２１２によって生成されるサブフレーム５０４および関連する複数の長露光画素値６０２の概略図である。例えば、サブフレーム５０４（０）は、時間隔４０２（０）の間、光を感知する画素に対応する長露光画素値６０２（０）を含む。同様に、サブフレーム５０４（１）は、時間隔４０２（１）の間にそれぞれ生成される長露光画素値６０２（１）を含む。
同じ参照番号５０１（ｃｉｊ）を共有する図５および図６の画素値は同じ時間隔４０１（ｃｉｊ）中に光を感知する画素２１２に対応するが、実際の画素値自体は画素に入射する光の強度にしたがって異なってもよい。すなわち、同じサブフレームインデックスｃｉｊの複数の画素によって生成された画素値を示すための単一の参照番号、例えば５０１（０）の使用は、複数の画素のそれぞれが同じ画素値を生成することを伝えることを意味しない。
図７は、符号化されていないビデオデータ１９４から多層ビデオストリーム７８６を生成するように構成されたビデオエンコーダ７００の概略ブロック図である。ビデオエンコーダ７００は、図１のビデオエンコーダ１００の一例である。ビデオエンコーダ７００は、マイクロプロセッサ７０２およびそれに通信可能に結合されたメモリ７０３のうちの少なくとも１つを含むことができる。メモリ７０３は、一時的および／または非一時的であってもよく、揮発性メモリ（例えば、ＳＲＡＭ、ＤＲＡＭ、計算ＲＡＭ、他の揮発性メモリ、またはそれらの任意の組合せ）および不揮発性メモリ（例えば、ＦＬＡＳＨ（登録商標）、ＲＯＭ、磁気媒体、光媒体、他の不揮発性メモリ、またはそれらの任意の組合せ）の一方または両方を含んでもよい。メモリ７０３の一部または全部は、マイクロプロセッサ７０２に統合することができる。
メモリ７０３は、１３ビットの精度を有し、１０ビットのアナログ／デジタル出力を記憶することができるデータバッファ７１０を含むことができる。データバッファ７１０は、図５および図６に導入された短露光画素値５０１および長露光画素値６０２を含むサブフレーム５０４を記憶する。データバッファ７１０はまた、複数の符号化サブフレーム残差画像７６４およびフルフレーム長露光画像７７２を記憶することができる。データバッファ７１０は、サブフレーム５０４、符号化サブフレーム残差画像７６４、およびフルフレーム長露光画像７７２のうちの少なくとも１つが、それぞれの専用データバッファに格納されるように、１つまたは複数の別個のデータバッファを含むことができる。各専用データバッファは、異なるワード長を持つことができる。短露光画素値５０１および長露光画素値６０２は、それぞれ別個のデータバッファに格納されてもよい。
データバッファ７１０は、短露光画素値５０１または長露光画素値６０２が、ある比率または露光時間τ１およびτ２によって、精度を失うことなくスケーリングされ得るように、十分なビット精度を有し得る。スケーリングは、例えば、画素値５０１および６０２がバイナリデータとして記憶されるときに、ビットシフト操作を含むことができる。例えば、データバッファ７１０のビット深度Ｍ７１０は、少なくとも
Figure 0007143012000001
 だけ、ビデオフレーム１０４のビット深度Ｍ１０４を超えてもよく、ここで、
Figure 0007143012000002
 は、シーリングオペレータである。ビット深さは、
Figure 0007143012000003
 に等しくてもよい。たとえば、Ｍ１０４＝１０およびτ２／τ１＝８の場合、Ｍ７１０＝１３である。ビット深度Ｍ７１０は、データバッファ７１０のワード長であってもよい。符号化されていないビデオデータ１９４は、ビット深度Ｍ１０４と等しいビット深度を有することができる。
フルフレーム長露光画像７７２は、超高精細（ＵＨＤ）バッファであってもよく、水平解像度が少なくとも３８４０画素である４Ｋ解像度に対応する寸法を有する１０ビットデータバッファに格納されてもよい。低解像度画像７４２および７５２を記憶するバッファは、低解像度画像７４２および７５２の寸法に対応する、係数Ｎ－１／２によってスケールされた画素アレイ２１０の寸法に等しい寸法を有してもよい。例えば、画素アレイ２１０が寸法３８４０×２１６０およびＮ＝９を有する場合、低解像度画像７４２および７５２のそれぞれは、寸法１２８０×７２０を有するバッファに格納されてもよい。
短露光画素値５０１および長露光画素値６０２が赤色、緑色、および青色の画素２１２によって生成される場合、画素値５０１および６０２は、それぞれ、対応する赤、緑、および青の画素値を含む。短露光画素値５０１の赤色画素値、緑色画素値、および青色画素値は、ノイズ除去およびブロック圧縮を容易にするために、データバッファ７１０のそれぞれのセクションに格納されてもよい。同様に、長露光画素値６０２の赤色画素値、緑色画素値、および青色画素値は、データバッファ７１０のそれぞれのセクションに格納され得る。
メモリ７０３はまた、データバッファ７１０に記憶されたデータを読み出して変換するように構成されたソフトウェアを記憶することもできる。ソフトウェアは、ビデオエンコーダ７００の機能を実施するために、マイクロプロセッサ７０２によって実行可能な機械可読命令を含む。ソフトウェアは、画像処理ルーチン７２１、残差画像生成器７２２、アルファマッパ７４３、デストリーカ７５３、再分配器７５４、残差画像エンコーダ７６２、長露光処理ルーチン７７４、符号化ルーチン７８０、およびラッパ符号化ルーチン７８４のうちの少なくとも１つを含むことができる。画像処理ルーチン７２１および長露光処理ルーチン７７４のそれぞれは、１つまたは複数のデータ処理ルーチンおよび／またはサブルーチンを含むことができる。
メモリ７０３はまた、符号化されていないビデオデータ１９４から多層ビデオストリーム７８６を生成するプロセスにおいて、ソフトウェアによって生成された中間データを記憶し得る。この中間データは、短露光低解像度画像７４２、アルファマップ７４５、長露光低解像度画像７５２、デストリーク画像（ｄｅｓｔｒｅａｋｅｄ ｉｍａｇｅ）７５５、サブフレーム残差画像７６０、符号化サブフレーム残差画像７６４、フルフレーム長露光画像７７２、処理済長露光ビデオデータ７７５、ベースビデオストリーム７８１、エンハンスメントビデオストリーム７８２、およびメタデータ７９０のうちの少なくとも１つを含むことができる。
サブフレーム５０４（ｃｉｊ）の短露光画素値５０１は、短露光低解像度画像、例えば、短露光低解像度画像７４１（ｃｉｊ）としてデータバッファ７１０に格納されてもよい。同様に、サブフレーム５０４（ｃｉｊ）の長露光画素値６０２は、長露光低解像度画像、例えば、長露光低解像度画像７５１（ｃｉｊ）としてデータバッファ７１０に格納されてもよい。
メモリ７０３はまた、短露光時間７９１、長露光時間７９２、およびサブフレームカウント７９３のうちの少なくとも１つを含むことができるフレームデータ７９４を記憶することができる。短露光時間７９１、長露光時間７９２、およびサブフレームカウント７９３は、それぞれ、以前に導入された短露光時間τ１、短露光時間τ２、および整数Ｎに等しい。
図８は、画像センサ１１２によって撮像されたビデオストリームを符号化するための方法８００を示すフローチャートである。長露光画像から導出されたベースビデオストリームを短露光画像から導出されたエンハンスメントビデオストリームと結合することによって、方法８００は、従来の高フレームレートビデオに関連する増加した帯域幅の前述のコストを欠きながら、高フレームレートビデオの時間的解像度を有する符号化ビデオストリームを生成する。方法８００は、図７のビデオエンコーダ７００の１つまたは複数の態様内で実施することができる。方法８００は、メモリ７０３に記憶されたコンピュータ読み取り可能な命令を実行するマイクロプロセッサ７０２によって実施することができる。
方法８００の以下の説明では、画像センサ１１２の各画素２１２は、（ｉ）長露光時間７９２と交互になる短露光時間７９１を含む同じ露光時間シーケンス（例えば、撮像タイミング４０４のうちの１つ）と、（ｉｉ）短露光時間７９１の整数倍に等しいそれぞれの時間的オフセットΔｔと、によってそれぞれ特徴付けられるＮ個のサブフレームのうちの１つに属する。方法８００は、ステップ８１０、８２０、８２５、８３０、８４０、８５０、８６０、および８７０のうちの少なくとも１つを含む。
画像センサ１１２は、長露光時間で撮像される長露光低解像度画像（例えば、画像７５１）と、短露光時間で撮像される短露光低解像度画像（例えば、画像７４１）とを撮像するように構成されてもよい。短露光低解像度画像は短露光画素値５０１を含み、長露光低解像度画像は例えば、長露光画素値６０２を含む。
ステップ８１０は、メモリバッファのそれぞれのセクションに、複数の短露光画素値の赤色画素値、緑色画素値、および青色画素値を記憶することを含む。また、ステップ８１０は、メモリバッファのそれぞれのセクションに、複数の長露光画素値の赤色画素値、緑色画素値、および青色画素値を記憶することを含む。ステップ８１０の例では、短露光画素値５０１の赤色画素値、緑色画素値、および青色画素値がデータバッファ７１０のそれぞれのセクションに格納され、長露光画素値６０２の赤色画素値、緑色画素値、および青色画素値がデータバッファ７１０のそれぞれのセクションに格納される。
ステップ８２０は、Ｎ個のサブフレームのそれぞれについて、結合するステップの前に、（ｉ）ノイズ除去、（ｉｉ）短露光低解像度画像および／または長露光低解像度画像の固定パターンノイズの低減、および（ｉｉｉ）短露光低解像度画像および／または長露光低解像度画像のクランプ、のうちの少なくとも１つを含む。ステップ８２０の一例では、画像処理ルーチン７２１は、短露光低解像度画像７４１（１－Ｎ）および／または長露光低解像度画像７５１（１－Ｎ）のノイズ除去、固定パターンノイズの低減、および／またはクランプを行い、それぞれ、短露光低解像度画像７４２（１－Ｎ）および長露光低解像度画像７５２（１－Ｎ）をもたらす。ビデオエンコーダ７００が画像処理ルーチン７２１を欠いている場合、画像７４２は画像７４１と同じであり、画像７５２は画像７５１と同じである。
ステップ８２５は、Ｎ個のサブフレームのそれぞれについて、長露光低解像度画像の領域を畳み込むことを含み、その領域は、短露光低解像度画像のアルファマップによって少なくとも部分的に決定される。畳み込みカーネルは、ガウスぼかし操作を適用することができ、ｍ×ｍの畳み込みマトリックスによって表すことができ、ここで、ｍは、最大で２だけ
Figure 0007143012000004
 から異なることができる奇数の整数である。ステップ８２５の例において、Ｎ個のサブフレームのそれぞれについて、アルファマッパ７４３は、短露光低解像度画像７４２からアルファマップ７４５を生成し、デストリーカ７５３は、デストリーク画像７５５をもたらす長露光低解像度画像７５２のアルファマップ７４５に基づいて領域を畳み込む。アルファマップ７４５は、８に等しいビット深度を有することができる。
ステップ８３０は、Ｎ個のサブフレームのそれぞれについて、長露光時間で撮像された長露光低解像度画像と、短露光時間で撮像された短露光低解像度画像とを結合させて、サブフレーム残差画像を生成することを含む。サブフレーム残差画像は、（共通露光時間にスケールされる）長露光低解像度画像および短露光低解像度画像の間の差、例えば、一方を他方から差し引いたものであり得る。ステップ８３０の結合は、サブフレーム残差画像が長露光低解像度画像と短露光低解像度画像との線形結合であるように、線形結合するステップであってもよい。
ステップ８３０の例では、残差画像生成器７２２は、Ｎ個のサブフレームのそれぞれについて、長露光時間で撮像された長露光低解像度画像７５２（またはデストリーク画像７５５）、および短露光時間で撮像された短露光低解像度画像７４２を線形結合して、サブフレーム残差画像７６０を生じる。ステップ８３０の線形結合は、画素ごとに、すなわち、長露光低解像度画像および短露光低解像度画像の対応する画素と共に実行されてもよい。
ステップ８３０は、ステップ８３２、８３４、および８３６のうちの少なくとも１つを含むことができる。ステップ８３４および８３６は、長露光低解像度画像の複数の長露光画素値に関連する。以下のステップ８３４および８３６の説明では、Ｐ７４２、Ｐ７５２、Ｐ７６０は、それぞれ、短露光低解像度画像７４２、長露光低解像度画像７５２、およびサブフレーム残差画像７６０の画素値を表す。Ｐ７４２、Ｐ７５２、Ｐ７６０は、それぞれ、例えば、画素値の２次元アレイであり、データバッファ７１０に格納されてもよい。
ステップ８３２は、Ｎ個のサブフレームのそれぞれについて、複数の長露光画素値のそれぞれを、長露光時間と短露光時間との比で割ることによって、長露光低解像度画像をスケーリングすることを含む。ステップ８３２の例では、Ｎ個のサブフレームのそれぞれについて、残差画像生成器７２２は、その画素値Ｐ７５２のそれぞれを、長露光時間τ２と短露光時間τ１の比で割ることによって、長露光低解像度画像７５２をスケーリングする。そのため、スケーリングされた長露光低解像度画像の画素値は、τ１／τ２×Ｐ７５２になる。
ステップ８３４は、Ｎ個のサブフレームのそれぞれについて、短露光低解像度画像からスケーリングされた長露光低解像度画像を減算することを含む。ステップ８３４の例では、Ｎ個のサブフレームのそれぞれについて、残差画像生成器７２２は、画素値Ｐ７６０＝Ｐ７４２－τ１／τ２×Ｐ７５２を有するサブフレーム残差画像７６０を生成する。残差画像生成器７２２は、Ｐ７６０＝Ｐ７４２－τ１／τ２×Ｐ７５２＋Ｚ０となるように、サブフレーム残差画像７６０に均一なオフセットＺ０を付加することができる。均一なオフセットＺ０は、例えば、２Ｍであり、ここでＭは、長露光画素値６０２のビット深度である。たとえば、ビット深度Ｍは１０に等しい。
ステップ８３６は、Ｎ個のサブフレームのそれぞれについて、（ｉ）サブフレーム残差画像を知覚符号化すること、および（ｉｉ）サブフレーム残差画像をブロック符号化すること、のうちの少なくとも１つを含む。知覚符号化することは、ＣＩＥＬＡＢ色空間における明度Ｌ＊と輝度Ｙの間の関数関係に対応する、立方根関数を採用することができる。ノイズを低減し、符号化効率を高めるために、ヌル（ｎｕｌｌ）に近い残差値がクランプされてもよい。サブフレーム残差画像のそれぞれをブロック符号化することは、赤色画素または青色画素よりも緑色画素により多くのブロックを割り当てることができる。例えば、緑色画素に対しては１６×１６のブロックアレイを使用することができ、赤色画素および青色画素に対してはそれぞれの８×８のブロックアレイを使用することができる。
ステップ８３６の一例では、残差画像エンコーダ７６２は、Ｎ個のサブフレームのそれぞれについて、サブフレーム残差画像７６０を知覚符号化し、および／またはサブフレーム残差画像７６０をブロック符号化し、これにより、符号化サブフレーム残差画像７６４が得られる。符号化サブフレーム残差画像７６４は、ビット深度Ｍ＝１２、Ｍ＝１３、またはそれ以上を有することができるサブフレーム残差画像７６０よりも低いビット深度、例えば、Ｍ＝１０を有することができる。
ステップ８４０は、Ｎ個のサブフレームからの長露光低解像度画像の少なくともいくつかを結合させて、任意の長露光低解像度画像よりも高い解像度を有するフルフレーム長露光画像を生成することを含む。ステップ８４０の一例では、再分配器７５４は、長露光低解像度画像７５２（１－Ｎ）のうちの少なくとも２つを結合し、フルフレーム長露光画像７７２を生成する。言い換えると、結合８４０は、複数の長露光低解像度画像（連続時間隔、すなわち、図４の時間隔４２０中に撮像されたＮ個のサブフレームのそれぞれから１つ）を結合することを含み、ここで、結合された複数の長露光低解像度画像は、フルフレーム長露光画像７７２が形成されるように、画像センサのすべての画素を含む。
ステップ８５０は、ホワイトバランス、デモザイク、レンズシェーディング補正、色変換、ガンマ補正、およびモーションぼけフィルタリング（「デストリーキング（ｄｅｓｔｒｅａｋｉｎｇ）」）からなる群から選択される画像処理操作を適用することによって、フルフレーム長露光画像を処理することを含む。このようなデストリーキングは、例えば、フルフレーム長露光画像が比較的高速に移動する物体のぼやけた画像を含む場合に有用である。例示的なステップ８５０では、長露光処理ルーチン７７４は、フルフレーム長露光画像７７２を処理して、処理済長露光ビデオデータ７７５を生成する。処理済長露光ビデオデータ７７５は、クロマサブサンプリングされた画像を含むことができ、ビット深度Ｍ＝８を有することができる。
ステップ８５０は、その処理に関連するメタデータ７９０などのメタデータを生成することもできる。したがって、ステップ８５０は、ステップ８５０の画像処理操作に関連するメタデータをビデオストリームに追加することを含むステップ８５２を含むことができる。ステップ８５２の一例では、ラッパ（ｗｒａｐｐｅｒ）符号化ルーチン７８４は、メタデータ７９０を多層ビデオストリーム７８６に追加する。ステップ８５２はまた、アルファマップ７４５を多層ビデオストリーム７８６に追加することを含むことができる。
ステップ８６０は、フルフレーム長露光画像をビデオストリームのベースレイヤに符号化することを含む。ステップ８６０の一例では、符号化ルーチン７８０は、処理済長露光ビデオデータ７７５をベースビデオストリーム７８１に符号化する。ベースビデオストリーム７８１は、８ビットストリームであること、ＵＨＤ解像度を有すること、（例えば、４：２：２サンプリングモードで）クロマサブサンプリングされること、および３０Ｈｚフレームレートを有すること、のうちの少なくとも１つとすることができる。ベースビデオストリーム７８１は、例えばステップ８７０の符号化ルーチンによって生成されたエンハンスメントビデオストリーム７８２を処理するように装備されていない古いビデオデコーダと後方互換性があり得る。方法８００の実施形態では、ベースビデオストリーム７８１の符号化は、デジタルカメラ１１０に関連するレンズ歪みおよび色収差の補正を欠く。このような符号化は、符号化されていないビデオデータ１９４の生の画素値の回復を可能にする。
ステップ８７０は、Ｎ個のサブフレームからのサブフレーム残差画像のうちの少なくともいくつかをビデオストリームのエンハンスメントレイヤに符号化することを含む。ステップ８７０の一例では、符号化ルーチン７８０は、符号化サブフレーム残差画像７６４（１－Ｎ）の少なくとも２つをエンハンスメントビデオストリーム７８２に符号化する。エンハンスメントビデオストリーム７８２は、１０ビットストリームであること、ＵＨＤ解像度を有すること、７２０ｐモノクロビデオとして符号化すること、３０Ｈｚ、２７０Ｈｚ、またはそれらの間の値のフレームレートを有すること、のうちの少なくとも１つとすることができる。エンハンスメントビデオストリーム７８２は、ベースビデオストリーム７８１よりも高いダイナミックレンジを有することができる。
図９は、符号化されていないビデオデータ１９４から多層ビデオストリーム９８６を生成するように構成されたビデオエンコーダ９００の概略ブロック図である。ビデオエンコーダ９００は、図１のビデオエンコーダ１００の一例である。ビデオエンコーダ９００は、マイクロプロセッサ７０２およびそれに通信可能に結合されたメモリ９０３のうちの少なくとも１つを含むことができる。メモリ９０３は、メモリ７０３と同様である。メモリ９０３の一部または全部は、マイクロプロセッサ７０２に統合することができる。
メモリ９０３は、データバッファ９１０を含むことができる。データバッファ９１０はビット深度Ｍ＝３６を有することができ、１ＧＢ／秒の帯域幅を維持することができる。図７のデータバッファ７１０と同様に、データバッファ９１０は、短露光画素値５０１または長露光画素値６０２を、ある比率または露光時間τ１およびτ２だけ、精度を失うことなくスケーリングすることができるように、十分なビット精度を有することができる。データバッファ９１０のビット深度Ｍ９１０は、少なくとも
Figure 0007143012000005
 だけ、ビデオフレーム１０４のビット深度Ｍ１０４を超えてもよく、ビット深度Ｍ９１０は
Figure 0007143012000006
 に等しくてもよい。
データバッファ９１０は、図５および図６で説明された短露光画素値５０１および長露光画素値６０２を含むサブフレーム５０４を記憶する。データバッファ９１０はまた、複数の符号化サブフレーム残差画像９６４およびフルフレーム長露光画像９７２を記憶することができる。データバッファ９１０は、サブフレーム５０４、符号化サブフレーム残差画像９６４、およびフルフレーム長露光画像９７２のうちの少なくとも１つが専用データバッファに記憶されるように、１つまたは複数の別個のデータバッファを含むことができる。短露光画素値５０１および長露光画素値６０２は、それぞれ別個のデータバッファに格納されてもよい。
メモリ９０３はまた、データバッファ９１０に記憶されたデータを読み出して変換するように構成されたソフトウェアを記憶することもできる。ソフトウェアは、エンコーダ９００の機能を実施するためにマイクロプロセッサ７０２によって実行可能な機械可読命令を含む。ソフトウェアは、画像処理ルーチン９２１、残差画像生成器７２２、アルファマッパ７４３、デストリーカ７５３、残差画像エンコーダ７６２、長露光処理ルーチン７７４、符号化ルーチン７８０、およびラッパ符号化ルーチン７８４のうちの少なくとも１つを含むことができる。画像処理ルーチン９２１は、一つまたは複数の画像処理ルーチンおよび／またはサブルーチンを含んでもよい。
メモリ９０３はまた、符号化されていないビデオデータ１９４から多層ビデオストリーム９８６を生成するプロセスにおいて、ソフトウェアによって生成された中間データを記憶し得る。この中間データは、短露光低解像度画像９４２、アルファマップ９４５、長露光低解像度画像９５２、デストリーク画像９５５、サブフレーム残差画像９６０、符号化サブフレーム残差画像９６４、フルフレーム長露光画像９７２、処理済み長露光ビデオデータ９７５、ベースビデオストリーム９８１、エンハンスメントビデオストリーム９８２、およびメタデータ９９０のうちの少なくとも１つを含むことができる。メモリ９０３はまた、短露光時間７９１、長露光時間７９２、およびサブフレームカウント７９３のうちの少なくとも１つを含むことができるフレームデータ７９４を記憶することができる。
サブフレーム５０４（ｃｉｊ）の短露光画素値５０１は、短露光低解像度画像、例えば、短露光低解像度画像７４１（ｃｉｊ）としてデータバッファ９１０に格納されてもよい。同様に、サブフレーム５０４（ｃｉｊ）の長露光画素値６０２は、長露光低解像度画像、例えば、長露光低解像度画像７５１（ｃｉｊ）としてデータバッファ９１０に格納されてもよい。
図１０は、画像センサ１１２によって撮像されたビデオストリームを符号化するための方法１０００を示すフローチャートである。長露光画像から導出されたベースビデオストリームを短露光画像から導出されたエンハンスメントビデオストリームと結合させることによって、方法１０００は、従来の高フレームレートビデオに関連する増加された帯域幅の前述のコストを欠きながら、高フレームレートビデオの時間的解像度を有する符号化ビデオストリームを生成する。方法１０００は、図９のエンコーダ９００の１つまたは複数の態様内で実施することができる。例えば、方法１０００は、メモリ９０３に記憶されたコンピュータ可読命令を実行するマイクロプロセッサ７０２によって実現される。
方法１０００の以下の説明では、画像センサ１１２の各画素２１２が、（ｉ）長露光時間７９２と交互になる短露光時間７９１を含む同じ露光時間シーケンス（例えば、撮像タイミング４０４のうちの１つ）と、（ｉｉ）短露光時間７９１の整数倍に等しいそれぞれの時間オフセットΔｔとによってそれぞれ特徴付けられるＮ個のサブフレームのうちの１つに属する。方法１０００は、ステップ１０１０、８２０、１０２０、１０２５、８３０、１０３０、８４０、８５０、８６０、および８７０のうちの少なくとも１つを含む。
ステップ１０１０は、Ｎ個の短露光低解像度画像の各々をメモリバッファのそれぞれのタイルに記憶することを含む。ステップ１０１０の一例では、短露光低解像度画像７４１（１－Ｎ）の各々がデータバッファ９１０のそれぞれのタイルに記憶される。
ステップ８２０は、方法８００の説明に導入される。ステップ８２０の一例では、方法１０００で実施されるように、画像処理ルーチン９２１は、Ｎ個のサブフレームのそれぞれについて、（ｉ）ノイズ除去、（ｉｉ）固定パターンノイズの低減、および（ｉｉｉ）クランピング、のうちの少なくとも１つの操作を、短露光低解像度画像７４１（１－Ｎ）および／または長露光低解像度画像７５１（１－Ｎ）に適用する。これらの操作により、画像７４１および７５１から、それぞれ、短露光低解像度画像９４２および長露光低解像度画像９５２が得られる。
ステップ１０２０は、Ｎ個のサブフレームの各々について、短露光低解像度画像および長露光低解像度画像の一方または両方に、（ｉ）レンズ歪み補正、（ｉｉ）色収差補正、（ｉｉｉ）ホワイトバランス、（ｉｖ）レンズシェーディング補正、および（ｉｖ）デモザイク処理のうちの少なくとも１つを適用することを含む。ステップ１０２０の例では、画像処理ルーチン９２１は、（ｉ）から（ｉｖ）までの１つまたは複数の操作を、（ａ）短露光低解像度画像９４２（１－Ｎ）をもたらす、短露光低解像度画像７４１、および（ｂ）長露光低解像度画像９５２（１－Ｎ）をもたらす、長露光低解像度画像７５１（１－Ｎ）、の少なくとも１つに適用する。方法１０００がステップ１０１０を実施しない場合、画像９４２は画像７４１と同じであり、画像９５２は画像７５１と同じである。
ステップ１０２５は、Ｎ個のサブフレームのそれぞれについて、長露光低解像度画像の領域を畳み込むステップを含み、その領域は、短露光低解像度画像のアルファマップによって少なくとも部分的に決定される。畳み込みカーネルは、ガウスぼかし操作を適用することができ、ｍ×ｍ畳み込みマトリックスによって表すことができ、ここで、ｍは、最大で２だけ
Figure 0007143012000007
 から異なることができる奇数の整数である。ステップ１０２５の例ではまた、Ｎ個のサブフレームのそれぞれについて、アルファマッパ７４３は、短露光低解像度画像９４２からアルファマップ９４５を生成し、デストリーカ７５３は、アルファマップ９４５に基づいて、長露光低解像度画像９５２の領域を畳み込み、デストリーク画像９５５を生成する。アルファマップ９４５は、８に等しいビット深度を有することができる。
ステップ８３０の例では、残差画像生成器７２２は、Ｎ個のサブフレームのそれぞれについて、長露光時間で撮像された長露光低解像度画像７５２（またはデストリーク画像９５５）、および短露光時間で撮像された短露光低解像度画像７４２を線形結合して、サブフレーム残差画像９６０を生じる。
ステップ８３０は、方法８００の説明に導入される。ステップ８３０は、ステップ８３２、８３４、および８３６のうちの少なくとも１つを含むことができる。ステップ８３４および８３６は、長露光低解像度画像の複数の長露光画素値に関連する。以下のステップ８３４および８３６の説明では、Ｐ９４２、Ｐ９５２、およびＰ９６０は、それぞれ、短露光低解像度画像９４２、長露光低解像度画像９５２、およびサブフレーム残差画像９６０の画素値を表す。Ｐ９４２、Ｐ９５２、Ｐ９６０は、それぞれ、例えば、画素値の２次元アレイであり、データバッファ９１０に格納されてもよい。
ステップ８３２は、Ｎ個のサブフレームのそれぞれについて、複数の長露光画素値のそれぞれを、長露光時間と短露光時間との比で割ることによって、長露光低解像度画像をスケーリングすることを含む。ステップ８３２の例では、方法１０００で実施されるように、Ｎ個のサブフレームのそれぞれについて、残差画像生成器７２２は、その画素値Ｐ９５２の各々を、長露光時間τ２と短露光時間τ１の比で割ることによって、長露光低解像度画像９５２をスケーリングする。そのため、スケーリングされた長露光低解像度画像の画素値は、τ１／τ２×Ｐ９５２である。
ステップ８２０は、方法８００の説明に導入される。ステップ８３４の一例では、サブフレームのそれぞれについて、残差画像生成器７２２は、画素値Ｐ９６０＝Ｐ９４２－τ１／τ２×Ｐ９５２を有するサブフレーム残差画像９６０を生成する。残差画像生成器７２２は、サブフレーム残差画像９６０を、例えば、係数β（ここで、β＝８９６／１０２４）によってスケーリングすることができる。残差画像生成器７２２は、Ｐ９６０＝β（Ｐ９４２－τ１／τ２×Ｐ９５２）＋Ｋとなるように、サブフレーム残差画像９６０に均一なオフセットＫを追加することもできる。均一なオフセットＫは、例えば、２Ｍ±１であり、Ｍは、ビデオフレーム１０４および／または長露光画素値６０２のビット深度である。たとえば、ビット深度Ｍは、例えば１０である。一例では、Ｋ＝５００である。値βおよび値Ｋは、画素値Ｐ９６０は負ではなく２Ｍ（ここで、Ｍはエンハンスメントビデオストリーム９８２のビット深度である）を超えないことを保証するように、決定される。係数βは、露光時間τ１およびτ２（β＝１－２－ｌｏｇ２(τ１／τ２)）の関数であってもよい。
ステップ８３６は、方法８００の説明に導入される。ステップ８３６の一例では、残差画像エンコーダ７６２が（ｉ）サブフレーム残差画像９６０を知覚符号化すること、および（ｉｉ）サブフレーム残差画像９６０をブロック符号化すること、のうちの少なくとも１つを行い、これにより、符号化サブフレーム残差画像９６４が得られる。
ステップ１０３０は、ステップ１０１０のそれぞれのタイルにおいて、短露光低解像度画像をサブフレーム残差画像に置き換えることを含む。ステップ１０１０の一例では、各サブフレーム残差画像９６０（ｃｉｊ）が１からＮの範囲内の各サブフレームインデックスｃｉｊについて、短露光低解像度画像７４１（ｃｉｊ）を置き換える。
ステップ８４０および８５０は、方法８００の説明に導入される。ステップ８４０の一例では、方法１０００で実施されるように、再分配器７５４は、長露光低解像度画像９５２（１－Ｎ）のうちの少なくとも２つを結合し、フルフレーム長露光画像９７２を生成する。ステップ８５０の一例では、方法１０００で実施されるように、長露光処理ルーチン７７４は、フルフレーム長露光画像９７２を処理して、処理済み長露光ビデオデータ９７５を生成する。
ステップ８５０は、その処理に関連するメタデータ７９０などのメタデータを生成することもできる。したがって、ステップ８５０は、ステップ８５０の画像処理操作に関連するメタデータをビデオストリームに追加することを含むステップ８５２を含むことができる。ステップ８５２の一例では、方法１０００で実施されるように、ラッパ符号化ルーチン７８４は、メタデータ９９０を多層ビデオストリーム９８６に追加する。ステップ８５２はまた、多層ビデオストリーム９８６にアルファマップ９４５を追加することを含むことができる。
ステップ８６０は、方法８００の説明に導入される。ステップ８６０の一例では、方法１０００で実施されるように、符号化ルーチン７８０は、処理された長露光ビデオデータ９７５をベースビデオストリーム９８１に符号化する。ベースビデオストリーム９８１は、例えば、４：２：２サンプリングモードでクロマサブサンプリングされてもよい。ベースビデオストリーム９８１は、古いビデオデコーダ、例えば、方法１０００のステップ８７０で生成されたエンハンスメントビデオストリーム９８２を処理するように装備されていないものと後方互換性があり得る。
ステップ８７０は、方法８００の説明に導入される。ステップ８７０の一例では、方法１０００で実施されるように、符号化ルーチン７８０は、符号化サブフレーム残差画像９６４（１－Ｎ）のうちの少なくとも２つをエンハンスメントビデオストリーム９８２に符号化する。エンハンスメントビデオストリーム９８２は、例えば、４：２：２サンプリングモードでクロマサブサンプリングされてもよい。エンハンスメントビデオストリーム９８２は、ベースビデオストリーム９８１よりも高いダイナミックレンジを有することができる。
上述の特徴、ならびに以下に請求される特徴は、本明細書の範囲から逸脱することなく、様々な方法で結合させることができる。以下の列挙された実施例は、いくつかの可能な非限定的な結合を例示する。これらの例は複数の画素を含む画像センサに適用され、各画素は（ｉ）長露光時間と交互になる短露光時間を含む同じ露光時間シーケンス、および（ｉｉ）短露光時間の整数倍に等しいそれぞれの時間オフセット、をそれぞれ特徴とするＮ個のサブフレームの１つに属する。
（Ａ１）画像センサにより撮像されたビデオストリームを符号化するための方法は、サブフレームのそれぞれについて、長露光時間で撮像された長露光低解像度画像と、短露光時間で撮像された短露光低解像度画像とを線形結合し、サブフレーム残像を生じることを含む。この方法は、Ｎ個のサブフレームからの長露光低解像度画像の少なくともいくつかを結合させて、任意の長露光低解像度画像よりも高い解像度を有するフルフレーム長露光画像を生成することも含む。この方法はまた、（ｉ）フルフレーム長露光画像をビデオストリームのベースレイヤに符号化すること、および（ｉｉ）Ｎ個のサブフレームからのサブフレーム残差画像の少なくともいくつかをビデオストリームのエンハンスメントレイヤに符号化すること、を含む。
（Ａ２）短露光低解像度画像が複数の短露光画素値を含み、長露光低解像度画像が複数の長露光画素値を含む場合、方法（Ａ１）は（ａ）メモリバッファの各セクションに、複数の短露光画素値の赤色画素値、緑色画素値、および青色画素値を格納すること、および（ｂ）メモリバッファの各セクションに、複数の長露光画素値の赤色画素値、緑色画素値、および青色画素値を格納すること、をさらに含むことができる。
（Ａ３）いずれの方法（Ａ１）～（Ａ２）においても、長露光低解像度画像が複数の長露光画素値を含む場合には、結合するステップは、（ａ）複数の長露光画素値の各々を短露光時間に対する長露光時間の比率で割ることにより、長露光低解像度画像をスケーリングすること、および（ｂ）短露光低解像度画像からスケーリングされた長露光低解像度画像を減算すること、を組み合わせてもよい。
（Ａ４）方法（Ａ１）～（Ａ３）のいずれにおいても、結合するステップは、画素毎に実行されてもよい。
（Ａ５）方法（Ａ１）～（Ａ４）のいずれにおいても、結合するステップにおいて、Ｎは、（Ｎ－１）が長露光時間を短露光時間で割ったものに最も近い整数となるようにすることができる。
（Ａ６）方法（Ａ１）～（Ａ５）のいずれかは、Ｎ個のサブフレームのそれぞれについて、結合するステップの前に、短露光低解像度画像および長露光低解像度画像のうちの少なくとも１つをノイズ除去することをさらに含むことができる。
（Ａ７）方法（Ａ１）～（Ａ６）のいずれかは、Ｎ個のサブフレームのそれぞれについて、ステップの前に、長露光低解像度画像および短露光低解像度画像のうちの少なくとも１つから固定パターンノイズを低減することをさらに含むことができる。
（Ａ８）方法（Ａ１）～（Ａ７）のいずれかは、Ｎ個のサブフレームのそれぞれについて、結合するステップの前に、長露光低解像度画像および短露光低解像度画像のうちの少なくとも１つをクランプすることをさらに含むことができる。
（Ａ９）方法（Ａ１）～（Ａ８）のいずれかは、Ｎ個のサブフレームのそれぞれについて、（ｉ）サブフレーム残差画像を知覚符号化すること、および（ｉｉ）サブフレーム残差画像をブロック符号化することのうちの少なくとも１つをさらに含むことができる。
（Ａ１０）方法（Ａ１）～（Ａ９）のいずれかは、（ａ）フルフレーム長露光画像を符号化するステップの前に、ホワイトバランス、デモザイク、レンズシェーディング補正、色変換、ガンマ補正、および鮮鋭化からなる群から選択される画像処理操作を適用することによってフルフレーム長露光画像を処理すること、および（ｂ）画像処理操作に関連するメタデータをビデオストリームに追加すること、をさらに含むことができる。
（Ａ１１）（Ａ１）～（Ａ１０）のいずれかの方法はさらに、Ｎ個のサブフレームのそれぞれについて、結合するステップの前に、短露光低解像度画像および長露光低解像度画像にレンズ歪み補正および色収差補正を適用することを含むことができる。
（Ａ１２）（Ａ１）～（Ａ１１）のいずれかの方法はさらに、Ｎ個のサブフレームのそれぞれについて、結合するステップの前に、短露光低解像度画像および長露光低解像度画像に、ホワイトバランシング、レンズシェーディング補正、およびデモザイキングからなる群から選択される画像処理演算を適用することによって、それらを処理することを含むことができる。
（Ａ１３）方法（Ａ１）～（Ａ１２）のいずれかはさらに、Ｎ個のサブフレームのそれぞれについて、長露光低解像度画像の領域を畳み込むことを含んでもよく、この領域は短露光低解像度画像のアルファマップによって少なくとも部分的に決定される。
（Ａ１４）方法（Ａ１）～（Ａ１３）のいずれかは、Ｎ個のサブフレームのそれぞれについて、（ａ）結合するステップの前に、短露光低解像度画像をメモリバッファのそれぞれのタイルに記憶すること、および（ｂ）結合するステップの前に、それぞれのタイルにおいて、短露光低解像度画像をサブフレーム残差画像と置換すること、を含むことができる。
（Ｂ１）ビデオストリームを符号化するためのビデオエンコーダは、メモリ、およびメモリに通信可能に結合されたマイクロプロセッサを含む。メモリは、非一時的なコンピュータ可読命令を記憶し、画像センサによって撮像された画像データを記憶するように適合される。画像センサは、（ｉ）長露光時間と交互になる短露光時間を含む同じ露光時間シーケンス、および（ｉｉ）短露光時間の整数倍に等しいそれぞれの時間的オフセット、を各々が特徴とするＮ個のサブフレームのうちの１つに各々属する複数の画素を含む。マイクロプロセッサは、方法（Ａ１）～（Ａ１４）のいずれかを実行するための命令を実行するように適合される。
本明細書の範囲から逸脱することなく、上述の方法およびシステムに変更が行なわれてもよい。したがって、上述の説明に含まれるまたは付随の図面に示される事項は、例示として解釈され、制限するものではないものと解釈されることに留意されたい。本明細書では特に断らない限り、形容詞「例示的な」手段は、例、事例、または例示として役立つ。以下の特許請求の範囲は、本明細書に記載されるすべての一般的および特定の特徴を包含し、ならびに、本方法およびシステムの範囲のすべてのステートメントは、言語の問題として、それらに包含される。
本発明の様々な態様は、以下の列挙された例示的な実施形態（ＥＥＥ）から理解され得る。
ＥＥＥ１．複数の画素を含み、各画素がＮ個のサブフレームの１つに属する、画像センサによって撮像されたビデオストリームを符号化する方法であって、各サブフレームは、（ｉ）長露光時間と交互になる短露光時間を含む同じ露光時間シーケンスと、（ｉｉ）前記短露光時間の整数倍に等しいそれぞれの時間的オフセットと、により特徴づけられ、前記方法は、
前記Ｎ個のサブフレームの各々について、前記長露光時間で撮像された長露光低解像度画像と、前記短露光時間で撮像された短露光低解像度画像とを線形結合して、サブフレーム残差画像を生成することと、
任意の長露光低解像度画像よりも高い解像度を有するフルフレーム長露光画像を生成するために、前記Ｎ個のサブフレームからの長露光低解像度画像の少なくともいくつかを結合することと、
前記フルフレーム長露光画像を前記ビデオストリームのベースレイヤに符号化することと、
前記Ｎ個のサブフレームからの前記サブフレーム残差画像の少なくともいくつかを前記ビデオストリームのエンハンスメントレイヤに符号化することと、を含む、方法。
ＥＥＥ２．前記短露光低解像度画像は複数の短露光画素値を含み、前記長露光低解像度画像は複数の長露光画素値を含み、前記方法は、
前記複数の短露光画素値のうちの赤色画素値、緑色画素値、および青色画素値を、メモリバッファのそれぞれのセクションに記憶することと、
前記複数の長露光画素値のうちの赤色画素値、緑色画素値、および青色画素値を、メモリバッファのそれぞれのセクションに記憶することと、をさらに含む、ＥＥＥ１に記載の方法。
ＥＥＥ３．前記長露光低解像度画像は複数の長露光画素値を含み、前記結合することは、
前記複数の長露光画素値の各々を、前記短露光時間に対する前記長露光時間の比で割ることによって、前記長露光低解像度画像をスケーリングすることと、
スケーリングされた前記長露光低解像度画像を前記短露光低解像度画像から減算することと、を含む、ＥＥＥ１または２に記載の方法。
ＥＥＥ４．前記結合することは、画素単位で実行される、ＥＥＥ１から３のいずれかに記載の方法。
ＥＥＥ５．前記結合することにおいて、Ｎは、（Ｎ－１）が前記長露光時間を前記短露光時間で割ったものに最も近い整数であるようにする、ＥＥＥ１から４のいずれかに記載の方法。
ＥＥＥ６．前記Ｎ個のサブフレームのそれぞれについて、前記結合するステップの前に、前記短露光低解像度画像および前記長露光低解像度画像のうちの少なくとも１つをノイズ除去することをさらに含む、ＥＥＥ１から５のいずれかに記載の方法。
ＥＥＥ７．前記Ｎ個のサブフレームの各々について、前記結合することの前に、前記長露光低解像度画像および前記短露光低解像度画像のうちの少なくとも１つから固定パターンノイズを低減すること、をさらに含む、ＥＥＥ１から６のいずれかに記載の方法。
ＥＥＥ８．前記Ｎ個のサブフレームの各々について、前記結合することの前に、前記長露光低解像度画像および前記短露光低解像度画像のうちの少なくとも１つをクランプすること、をさらに含む、ＥＥＥ１から７のいずれかに記載の方法
ＥＥＥ９．前記Ｎ個のサブフレームの各々について、（ｉ）前記サブフレーム残差画像を知覚符号化することと、（ｉｉ）前記サブフレーム残差画像をブロック符号化することと、のうちの少なくとも１つをさらに含む、ＥＥＥ１から８のいずれかに記載の方法。
ＥＥＥ１０．前記フルフレーム長露光画像を符号化することの前に、ホワイトバランス、デモザイク、レンズシェーディング補正、色変換、ガンマ補正、および鮮鋭化からなる群から選択される画像処理操作を適用することによって前記フルフレーム長露光画像を処理することと、前記画像処理操作に関連するメタデータを前記ビデオストリームに追加することと、をさらに含む、ＥＥＥ１から９のいずれかに記載の方法。
ＥＥＥ１１．前記Ｎ個のサブフレームの各々について、前記結合することの前に、レンズ歪み補正および色収差補正を、前記短露光低解像度画像および前記長露光低解像度画像に適用することをさらに含む、ＥＥＥ１から１０のいずれかに記載の方法。
ＥＥＥ１２．前記Ｎ個のサブフレームの各々について、前記結合することの前に、ホワイトバランス、レンズシェーディング補正、およびデモザイクからなる群から選択される画像処理操作を適用することによって、前記短露光低解像度画像および前記長露光低解像度画像を処理するステップをさらに含む、ＥＥＥ１から１１のいずれかに記載の方法。
ＥＥＥ１３．前記Ｎ個のサブフレームの各々について、前記長露光低解像度画像の領域を畳み込むことをさらに含み、前記領域は、前記短露光低解像度画像のアルファマップによって少なくとも部分的に決定される、ＥＥＥ１から１２のいずれかに記載の方法。
ＥＥＥ１４．前記Ｎ個のサブフレームの各々について、前記結合するステップの前に、前記短露光低解像度画像をメモリバッファのそれぞれのタイルに格納することと、前記結合するステップの後に、前記それぞれのタイルにおいて、前記短露光低解像度画像を前記サブフレーム残差画像と置換することと、をさらに含む、ＥＥＥ１から１３のいずれかに記載の方法。
ＥＥＥ１５．複数の画素を含み、各画素がＮ個のサブフレームの１つに属する、画像センサによって撮像されたビデオストリームを符号化するためのビデオエンコーダであって、各サブフレームは、（ｉ）長露光時間と交互になる短露光時間を含む同じ露光時間シーケンスと、（ｉｉ）前記短露光時間の整数倍に等しいそれぞれの時間的オフセットと、により特徴づけられ、前記ビデオエンコーダは、
非一時的なコンピュータ可読命令を格納し、前記画像センサによって撮像された画像データを格納するように適合されたメモリと、
前記メモリに通信可能に結合されたマイクロプロセッサであって、
前記Ｎ個のサブフレームの各々について、前記長露光時間で撮像された長露光低解像度画像と、前記短露光時間で撮像された短露光低解像度画像とを線形結合して、サブフレーム残差画像を生成することと、
任意の長露光低解像度画像よりも高い解像度を有するフルフレーム長露光画像を生成するために、前記Ｎ個のサブフレームからの長露光低解像度画像の少なくともいくつかを結合することと、
前記フルフレーム長露光画像を前記ビデオストリームのベースレイヤに符号化することと、
前記Ｎ個のサブフレームからの前記サブフレーム残差画像の少なくともいくつかを前記ビデオストリームのエンハンスメントレイヤに符号化することと、の命令を実行するように適合されたマイクロプロセッサと、を備える、ビデオエンコーダ。
ＥＥＥ１６．前記短露光低解像度画像は複数の短露光画素値を含み、前記長露光低解像度画像は複数の長露光画素値を含み、前記マイクロプロセッサは、
前記複数の短露光画素値のうちの赤色画素値、緑色画素値、および青色画素値を、メモリバッファのそれぞれのセクションに記憶することと、
前記複数の長露光画素値のうちの赤色画素値、緑色画素値、および青色画素値を、メモリバッファのそれぞれのセクションに記憶することと、の命令を実行するようにさらに適合された、ＥＥＥ１５に記載のビデオエンコーダ。
ＥＥＥ１７．前記長露光低解像度画像は複数の長露光画素値を含み、前記結合する命令は、
前記複数の長露光画素値の各々を、前記短露光時間に対する前記長露光時間の比で割ることによって、前記長露光低解像度画像をスケーリングすることと、
スケーリングされた前記長露光低解像度画像を前記短露光低解像度画像から減算することと、を含む、ＥＥＥ１５または１６に記載のビデオエンコーダ。
ＥＥＥ１８．（Ｎ－１）が長露光時間を短露光時間で割ったものに最も近い整数であるような、Ｎである、ＥＥＥ１５から１７のいずれかに記載のビデオエンコーダ。
ＥＥＥ１９．前記マイクロプロセッサは、前記Ｎ個のサブフレームの各々について、前記長露光低解像度画像の領域を畳み込むことであって、前記領域は、前記短露光低解像度画像のアルファマップによって決定される、畳み込む命令を実行するようにさらに適合される、ＥＥＥ１５から１８のいずれかに記載のビデオエンコーダ。
ＥＥＥ２０．前記マイクロプロセッサは、
前記結合するステップの前に、前記短露光低解像度画像をメモリバッファのそれぞれのタイルに格納し、
前記結合するステップの後に、前記それぞれのタイルにおいて、前記短露光低解像度画像を前記サブフレーム残差画像と置き換える、命令を実行するようにさらに適合されている、ＥＥＥ１５から１９のいずれかに記載のビデオエンコーダ。

Claims (15)

  1. 複数の画素を含み、各画素がＮ個のサブフレームの１つに属する、画像センサによって撮像されたビデオストリームを符号化する方法であって、各サブフレームの画素は、画像センサ領域の領域に亘って実質的に均一に分配され、各サブフレームは、（ｉ）長露光時間と交互になる短露光時間を含む同じ露光時間シーケンスと、（ｉｉ）前記短露光時間の整数倍に等しいそれぞれの時間的オフセットと、により特徴づけられ、前記方法は、
    前記Ｎ個のサブフレームの各々について、前記長露光時間で撮像された長露光低解像度画像と、前記短露光時間で撮像された短露光低解像度画像とを線形結合して、サブフレーム残差画像を生成することと、
    任意の長露光低解像度画像よりも高い解像度を有するフルフレーム長露光画像を生成するために、前記Ｎ個のサブフレームからの長露光低解像度画像の少なくともいくつかを結合することであって、前記長露光低解像度画像の少なくともいくつかは、前記画像センサのすべての画素を含む、結合することと、
    前記フルフレーム長露光画像を前記ビデオストリームのベースレイヤに符号化することと、
    前記Ｎ個のサブフレームからの前記サブフレーム残差画像の少なくともいくつかを前記ビデオストリームのエンハンスメントレイヤに符号化することと、を含む、方法。
  2. 前記短露光低解像度画像は複数の短露光画素値を含み、前記長露光低解像度画像は複数の長露光画素値を含み、前記方法は、
    前記複数の短露光画素値のうちの赤色画素値、緑色画素値、および青色画素値を、メモリバッファのそれぞれのセクションに記憶することと、
    前記複数の長露光画素値のうちの赤色画素値、緑色画素値、および青色画素値を、メモリバッファのそれぞれのセクションに記憶することと、をさらに含む、請求項１に記載の方法。
  3. 前記長露光低解像度画像は複数の長露光画素値を含み、前記結合することは、
    前記複数の長露光画素値の各々を、前記短露光時間に対する前記長露光時間の比で割ることによって、前記長露光低解像度画像をスケーリングすることと、
    スケーリングされた前記長露光低解像度画像を前記短露光低解像度画像から減算することと、を含む、請求項１または２に記載の方法。
  4. 前記結合することは、画素単位で実行される、請求項１から３のいずれか一項に記載の方法。
  5. 前記結合することにおいて、Ｎは、（Ｎ－１）が前記長露光時間を前記短露光時間で割ったものに最も近い整数であるようにする、請求項１から４のいずれか一項に記載の方法。
  6. 前記Ｎ個のサブフレームの各々について、前記結合することの前に、前記短露光低解像度画像および前記長露光低解像度画像のうちの少なくとも１つをノイズ除去すること、をさらに含む、請求項１から５のいずれか一項に記載の方法。
  7. 前記Ｎ個のサブフレームの各々について、前記結合することの前に、前記長露光低解像度画像および前記短露光低解像度画像のうちの少なくとも１つから固定パターンノイズを低減すること、をさらに含む、請求項１から６のいずれか一項に記載の方法。
  8. 前記Ｎ個のサブフレームの各々について、前記結合することの前に、前記長露光低解像度画像および前記短露光低解像度画像のうちの少なくとも１つをクランプすること、をさらに含む、請求項１から７のいずれか一項に記載の方法。
  9. 前記Ｎ個のサブフレームの各々について、（ｉ）前記サブフレーム残差画像を知覚符号化することと、（ｉｉ）前記サブフレーム残差画像をブロック符号化することと、のうちの少なくとも１つをさらに含む、請求項１から８のいずれか一項に記載の方法。
  10. 前記フルフレーム長露光画像を符号化することの前に、ホワイトバランス、デモザイク、レンズシェーディング補正、色変換、ガンマ補正、および鮮鋭化からなる群から選択される画像処理操作を適用することによって前記フルフレーム長露光画像を処理することと、前記画像処理操作に関連するメタデータを前記ビデオストリームに追加することと、をさらに含む、請求項１から９のいずれか一項に記載の方法。
  11. 前記Ｎ個のサブフレームの各々について、前記結合することの前に、レンズ歪み補正および色収差補正を、前記短露光低解像度画像および前記長露光低解像度画像に適用することをさらに含む、請求項１から１０のいずれか一項に記載の方法。
  12. 前記Ｎ個のサブフレームの各々について、前記結合することの前に、ホワイトバランス、レンズシェーディング補正、およびデモザイクからなる群から選択される画像処理操作を適用することによって、前記短露光低解像度画像および前記長露光低解像度画像を処理するステップをさらに含む、請求項１から１１のいずれか一項に記載の方法。
  13. 複数の画素を含み、各画素がＮ個のサブフレームの１つに属する、画像センサによって撮像されたビデオストリームを符号化するためのビデオエンコーダであって、各サブフレームの画素は、画像センサ領域の領域に亘って実質的に均一に分配され、各サブフレームは、（ｉ）長露光時間と交互になる短露光時間を含む同じ露光時間シーケンスと、（ｉｉ）前記短露光時間の整数倍に等しいそれぞれの時間的オフセットと、により特徴づけられ、前記ビデオエンコーダは、
    非一時的なコンピュータ可読命令を格納し、前記画像センサによって撮像された画像データを格納するように適合されたメモリと、
    前記メモリに通信可能に結合されたマイクロプロセッサであって、
    前記Ｎ個のサブフレームの各々について、前記長露光時間で撮像された長露光低解像度画像と、前記短露光時間で撮像された短露光低解像度画像とを線形結合して、サブフレーム残差画像を生成することと、
    任意の長露光低解像度画像よりも高い解像度を有するフルフレーム長露光画像を生成するために、前記Ｎ個のサブフレームからの長露光低解像度画像の少なくともいくつかを結合することであって、前記長露光低解像度画像の少なくともいくつかは、前記画像センサのすべての画素を含む、結合することと、
    前記フルフレーム長露光画像を前記ビデオストリームのベースレイヤに符号化することと、
    前記Ｎ個のサブフレームからの前記サブフレーム残差画像の少なくともいくつかを前記ビデオストリームのエンハンスメントレイヤに符号化することと、の命令を実行するように適合されたマイクロプロセッサと、を備える、ビデオエンコーダ。
  14. 前記短露光低解像度画像は複数の短露光画素値を含み、前記長露光低解像度画像は複数の長露光画素値を含み、前記マイクロプロセッサは、
    前記複数の短露光画素値のうちの赤色画素値、緑色画素値、および青色画素値を、メモリバッファのそれぞれのセクションに記憶することと、
    前記複数の長露光画素値のうちの赤色画素値、緑色画素値、および青色画素値を、メモリバッファのそれぞれのセクションに記憶することと、の命令を実行するようにさらに適合された、請求項１３に記載のビデオエンコーダ。
  15. 前記長露光低解像度画像は複数の長露光画素値を含み、前記結合する命令は、
    前記複数の長露光画素値の各々を、前記短露光時間に対する前記長露光時間の比で割ることによって、前記長露光低解像度画像をスケーリングすることと、
    スケーリングされた前記長露光低解像度画像を前記短露光低解像度画像から減算することと、を含む、請求項１３または１４に記載のビデオエンコーダ。
JP2021523940A 2018-11-19 2019-11-15 ビデオエンコーダおよび符号化方法 Active JP7143012B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862769223P 2018-11-19 2018-11-19
EP18207029 2018-11-19
EP18207029.2 2018-11-19
US62/769,223 2018-11-19
PCT/US2019/061627 WO2020106559A1 (en) 2018-11-19 2019-11-15 Video encoder and encoding method

Publications (2)

Publication Number Publication Date
JP2022508057A JP2022508057A (ja) 2022-01-19
JP7143012B2 true JP7143012B2 (ja) 2022-09-28

Family

ID=68848423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021523940A Active JP7143012B2 (ja) 2018-11-19 2019-11-15 ビデオエンコーダおよび符号化方法

Country Status (5)

Country Link
US (1) US11876987B2 (ja)
EP (1) EP3884673B1 (ja)
JP (1) JP7143012B2 (ja)
CN (1) CN113170158B (ja)
WO (1) WO2020106559A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11039079B1 (en) * 2019-05-07 2021-06-15 Lux Optics Incorporated Generating long exposure images
TW202143721A (zh) * 2020-05-06 2021-11-16 法商內數位Ｃｅ專利控股公司 具有阿爾法層的3d場景傳輸
US11394900B1 (en) 2020-05-07 2022-07-19 Lux Optics Incorporated Synthesizing intermediary frames for long exposure images
EP3985976B1 (en) * 2020-10-16 2022-09-28 Axis AB Method of encoding an image including a privacy mask
WO2022222112A1 (zh) * 2021-04-22 2022-10-27 深圳市大疆创新科技有限公司 数据处理方法、图像传感器、图像处理器和电子设备
US11818465B2 (en) * 2022-01-10 2023-11-14 Gopro, Inc. Systems, apparatus, and methods for stabilization and blending of exposures

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120205A (ja) 2002-09-25 2004-04-15 Sony Corp 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP2008228282A (ja) 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
JP2013533706A (ja) 2010-07-05 2013-08-22 アップル インコーポレイテッド 高ダイナミックレンジ画像を捕捉するデバイスの作動法
JP2014086889A (ja) 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
WO2016171006A1 (ja) 2015-04-21 2016-10-27 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2017146972A1 (en) 2016-02-22 2017-08-31 Dolby Laboratories Licensing Corporation Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
JP2017216646A (ja) 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012122423A1 (en) * 2011-03-10 2012-09-13 Dolby Laboratories Licensing Corporation Pre-processing for bitdepth and color format scalable video coding
EP2579591A1 (en) * 2011-10-04 2013-04-10 Thomson Licensing Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US8958649B2 (en) 2013-03-13 2015-02-17 Wisconsin Alumni Research Foundation Video generation with temporally-offset sampling
US10154220B2 (en) * 2015-04-07 2018-12-11 Rambus Inc. Imaging system with dynamic reconstruction workload allocation
US9654699B2 (en) * 2015-07-02 2017-05-16 Omnivision Technologies, Inc. High dynamic range imaging with reduced frame buffer
US10991281B2 (en) 2016-02-22 2021-04-27 Dolby Laboratories Licensing Corporation Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
CN106254782A (zh) * 2016-09-28 2016-12-21 北京旷视科技有限公司 图像处理方法及装置和相机
US10218913B2 (en) * 2017-04-18 2019-02-26 Qualcomm Incorporated HDR/WDR image time stamps for sensor fusion
EP3740932B1 (en) 2018-01-16 2024-07-03 Dolby Laboratories Licensing Corporation Image demosaicing system and method
EP3847800B1 (en) 2018-09-07 2023-07-26 Dolby Laboratories Licensing Corporation Auto exposure of spatially-multiplexed-exposure high-dynamic-range image sensors
US11258957B2 (en) 2018-09-07 2022-02-22 Dolby Laboratories Licensing Corporation Auto exposure of image sensors based upon entropy variance
KR102294322B1 (ko) 2018-09-12 2021-08-26 돌비 레버러토리즈 라이쎈싱 코오포레이션 시간적 디더링된 샘플링을 위한 cmos 센서 아키텍처

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120205A (ja) 2002-09-25 2004-04-15 Sony Corp 撮像装置，撮像装置の画像出力方法，およびコンピュータプログラム
JP2008228282A (ja) 2007-02-13 2008-09-25 Matsushita Electric Ind Co Ltd 画像処理装置
JP2013533706A (ja) 2010-07-05 2013-08-22 アップル インコーポレイテッド 高ダイナミックレンジ画像を捕捉するデバイスの作動法
JP2014086889A (ja) 2012-10-24 2014-05-12 Toshiba Corp 固体撮像装置
WO2016171006A1 (ja) 2015-04-21 2016-10-27 ソニー株式会社 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2017146972A1 (en) 2016-02-22 2017-08-31 Dolby Laboratories Licensing Corporation Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
JP2017216646A (ja) 2016-06-01 2017-12-07 キヤノン株式会社 撮像素子、撮像装置、および撮像信号処理方法

Also Published As

Publication number Publication date
EP3884673B1 (en) 2022-12-28
WO2020106559A1 (en) 2020-05-28
US20220007040A1 (en) 2022-01-06
US11876987B2 (en) 2024-01-16
EP3884673A1 (en) 2021-09-29
CN113170158B (zh) 2023-07-11
JP2022508057A (ja) 2022-01-19
CN113170158A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
JP7143012B2 (ja) ビデオエンコーダおよび符号化方法
US9288399B2 (en) Image processing apparatus, image processing method, and program
EP3306944B1 (en) Display method and display device
US8610818B2 (en) Systems and methods for improving video stutter in high resolution progressive video
US8391637B2 (en) Image processing device and image processing method
US10991281B2 (en) Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
US9633415B2 (en) Systems and methods for improving video stutter in high resolution progressive video
CN105723711B (zh) 高动态范围视频编码中的预抖动方法、装置及存储介质
CN111669483B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
JP2011188101A (ja) フレームレート変換処理装置
IL304034A (en) Frame-rate scalable video coding
JP2010136224A (ja) 撮像装置及び撮像方法
JP2009010823A (ja) 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
WO2012147523A1 (ja) 撮像装置及び画像生成方法
JP2010147508A (ja) 撮影装置及び再生装置
WO2017146972A1 (en) Apparatus and method for encoding high frame rate content in standard frame rate video using temporal interlacing
JP7037701B2 (ja) 時間ディザードサンプリング用ｃｍｏｓセンサアーキテクチャ
JP2017216630A (ja) 画像符号化装置及びその制御方法
JP2005286677A (ja) 撮像装置
US8049794B2 (en) Method and apparatus for processing image data
JP4810807B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
Parker et al. Digital video processing for engineers: A foundation for embedded systems design
JP2010147774A (ja) 撮像装置
US20230222765A1 (en) Image processing device, image processing method, and storage medium
JP6087631B2 (ja) 画像信号処理装置及びその制御方法、並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R150 Certificate of patent or registration of utility model

Ref document number: 7143012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150