JP5629783B2 - 低計算量の高フレームレートビデオエンコーダ - Google Patents

Description

[優先権]
本出願は、本明細書に参照として全文が組み込まれる2010年1月26日出願の米国仮特許出願第61/298,423号の優先権を主張する。

本発明は動画圧縮に関する。より詳しくは、本発明は、従来技術のように高フレームレートの符号化に共通するビットレートと計算複雑さをもたらすことなく視覚的に魅力的な高フレームレートに高める既存の動画圧縮技術の新しい使用方法に関する。

本願発明の要旨は、2008年1月17日に出願された米国特許登録第7,593,032号「低遅延と分散型会議アプリケーションのためのコンファレンスサーバー・アーキテクチャに関するシステムおよび方法（System And Method for a Conference Server Architecture for Low Delay and Distributed Conferencing Applications,）」および、同時係属中の2009年8月11日に出願された米国特許出願第12/539,501号「低遅延と分散型会議アプリケーションのためのコンファレンスサーバー・アーキテクチャに関するシステムおよび方法（System And Method For A Conference Server Architecture For Low Delay And Distributed Conferencing Applications,）」に見出すことができ、それらの全文は参照により本明細書に組み入れられる。

多くの現在の動画圧縮技術は、高圧縮率実現の鍵となる構成要素の一つとして動き保証と残留信号の変換符号化を用いた画像間予測を利用している。与えられたビデオシーケンスの画像の圧縮は、動きベクトル探索と、多くの二次元変形命令を一般的に具備している。それらの技術による画像コーダの実現は、ある複雑な計算を伴う技術を必要とし、例えば十分強力なメインプロセッサを利用するソフトウェアや、専用のハードウェア回路や、デジタル信号プロセッサ（DPS）や、それらの組み合わせを用いて実現することができる。圧縮されたビデオ信号は、動きベクトルと、（量子化された）変換係数と、ヘッダーデータとのような構成要素を含むことができる。これらの構成要素を表すために、一定量のビットが要求され、圧縮信号の送信が望まれる際には、結果として一定のビットレート要求が生じる。

フレームレートの増加は所定の間隔内の符号化される画像の数を増加させ、かつ、それにより、エンコーダの計算複雑さとビットレート要求を増加させる。

人間の視覚器官が、モーションピクチャシーケンス内の個々の画像間で明確に区別できるのは、周波数では約20Hz以下であることが知られている。24Hz（伝統的にフィルムベースの映画で使用されている）や、ヨーロッパで使用される25Hz（PAL/SWCAM）や、あるいはアメリカで使用される30 Hz（NTSC）のような高フレームレートでは、ピクチャシーケンスは、流れるようなモーションシーケンスでは“ぶれ（blur）”となる傾向がある。しかしながら、信号特性によって、60 Hzかそれ以上のような高フレームレートで、多くの人間の観測者は、より“快適”であると感じることが示されている。したがって、消費者とビデオレンダリングエレクトロニクスの専門家の両者とも50Hz以上の高フレームレートを利用する傾向がある。

60Hzのような高フレームレートは人間の視覚の快適さという観点では望まれているが、エンコードの複雑さの観点からは望まれていない。しかしながらすべての動画の一連の送信を考えると、たとえエンコーダが30フレーム毎秒（fps）のような低フレームレートに対し適切な計算能力か接続性（例えば最大ビットレート）のみを有するとしても、デコーダが高フレームレートを復号（及び表示）するときに利点がある。デコーダを高ビットレートで最小限の帯域幅のオーバーヘッドと大きくない計算のオーバーヘッドでの実行を許し、またさらに、すべてのデコーダで同様の結果を得るための処理を扱う能力を許す解決方法が求められている。

デコーダにおいて局所的なフレームレートエンハンスメントの技術は、長年の間開示されており、よく「時間的補間（temporal interpolation）」と呼ばれる。北アメリカ消費者エレクトロニクス市場で利用される60Hz、120Hz、240Hzあるいはそれ以上のフレームレートの多くの最高級のTVセットは、これらの技術の一つを利用していると思われる。しかしながら、それぞれのTVメーカは自由に自社の技術を利用するので、画像補間後のディスプレイビデオ信号は、違うメーカのTVの間に僅かな違いを見つけることができる。これは消費者エレクトロニクス環境では商品識別者として受け入れられ、望まれてさえいる。しかしながら、専門のビデオカンファレンスではこれは不利である。例えば、ビデオ送信の使用に関係があるケース及び、ビデオ監視等に関係する、テレメディシン（Telemedicine）、あるいは法執行においては、エンドポイント特有でかつ再生できないアーティファクトの導入は、責任理由のため避けなければならない。

デコーダ側の時間補間は、少なくともいくつかの形式で、入力信信号の非線形変化の問題も持っている。人間の視覚機能は、照明条件の比較的高速な変化の知覚であることが知られている。33ミリ秒で黒から白へと切り替わる一つの画像と、16ミリ秒で黒から灰色を経て白へと切り替わる二つの画像との間の、それぞれの視覚の違いに多くの人間は気付くことができる。

最適化されていないエンコーダによる高フレームレートの符号化は、より多い計算量あるいはより高い帯域幅の要求、あるいはコスト効率の理由のためにできない場合がある。

帯域外信号方式は、明確な/標準化された形式の時間補間を使用するためのデコーダあるいは付属のレンダラーを示すために使用できる。しかしながら、そのようにすることは、時間補間技術と信号方式によるその支援との標準化を要求する。今日ではそれらのいずれもがTVか、ビデオカンファレンスか、ビデオ電話プロトコルにおいて有効ではない。

ITU-T Rec. H.264 Annex Gは、またはScalable Video CodingすなわちSVCとして知られ（以降では“SVC”と記載する）、またhttp://www.itu.int/rec/T-REC-H.264-200903-IあるいはInternational Telecommunication Union, Place des Nations, 1211 Geneva 20, Switzerlandから入手可能であり、“スライススキップモード”と呼称するモード可能にする、“slice_skip_flag”構文要素を具備する。このモードにより本発明で使用されるスキップドスライス（skipped slice）は、文書JVT−S068（http://wftp3.itu.int/av-arch/jvt-site/2006_04_Geneva/JVT-S068.zipより入手可能である）の中でSVC構文の簡略化と直接的エンハンスメントとして紹介されている。しかしながら、この文書も、関連JVT会議関連（http://wftp3.itu.int/av-arch/jvt-site/2006_04_Geneva/AgendaWithNotes_d8.doc）の会議レポートも、提案されかつ採用された構文要素を使用するための、本発明と同様の情報を提供していない。

ここでは、従来技術を使用した高フレームレートの符号化に共通するビットレートと計算複雑さをもたらすことなく、既存の動画圧縮技術を利用し視覚的に魅力的な高フレームレートへ高めるように構成された命令を含む技術及びコンピュータの読み取り可能なメディアを開示する。SVCスキップスライス（skip slice）―スライスヘッダ内のslice_skip_flagの値が1にセットされているスライス―は、ビットストリーム中のビットをほとんど必要とせず、それによりビットレートオーバーヘッドを非常に少なく保つ。また、適切な実施を行った場合、完全にスライスをスキップしたエンハンスメントレイヤー画像の符号化の計算量の要求は、ほとんど無視して良い。しかしながら、スキップスライスを受けてのデコーダの処理は、明確である。さらに、エンハンスメントレイヤーのスキップドスライスは、（複数の）基礎レイヤー（base layer）からの動き情報を受け継ぎ、それにより最小化をし、もし除去することができなければ、おそらく非線形の動きと線形補間の相関関係が悪い。また、基礎レイヤーは、最高のフレームレートで符号化されかつ、エンハンスメントレイヤーから受け継いだ輝度の変化に関する情報を含めることができるので、画像の（あるいはその重要な部分の）急激な輝度の変化に関する上記問題は存在していない。

本発明の1つの代表的な実施形態によれば、レイヤー化エンコーダは、入力信号を表すために少なくとも1つの基本レイヤー（basing layer）をより高いフレームレートで利用する。“基本レイヤー”は、1つの基礎レイヤーか、あるいは1つの基礎レイヤーと1または複数のエンハンスメントレイヤーのいずれかからなる。それはさらに、（複数の）基本レイヤーよりも高い空間解像度のより低いフレームレートの少なくとも1つの空間エンハンスメントレイヤーと、前記空間エンハンスメントレイヤーをより高いフレームレートに高めた少なくとも1つの時間エンハンスメントレイヤーとを利用する。この時間エンハンスメントレイヤーの中に、少なくとも1つの画像が少なくとも一部が1または複数のスキップスライスとして符号化される。

例として、基本レイヤーは基礎レイヤーのみから成る。基礎レイヤーは60Hzで符号化される。空間エンハンスメントレイヤーは30Hzで符号化される。時間エンハンスメントレイヤーは60Hzで符号化され、スキップスライスのみを使用し、かつ符号化された結果の画像は“スキップ画像”と呼ばれる。

例えば、デコーダにおいて、送信後、基礎レイヤーと、空間エンハンスメントレイヤーと、時間エンハンスメントレイヤーとが、共に復号化される（復号化の正確な技術を使用することは本発明において重要ではない―1回のループと複数回のループの復号化は同じ結果を導く）。エンハンスメントレイヤーの動きベクトルと、粗いテクスチャ情報と、他の情報とが基礎レイヤーから受け継がれるので、補間された空間/時間のアーティファクトの量が減少される。この結果、復号後に、再現可能な、視覚的に満足できる、60Hzの高フレームレートの高品質信号が生じる。

それにもかかわらず、符号化の複雑さとビットレートの要求は減少される。空間エンハンスメントレイヤーの符号化の計算量の要求は、事実上0まで減少される。ビットレートもまた著しく減少するが、信号に高く依存するのでこの量を量子化することは難しい。

他のいくつかの処理モードでも可能である。

同様の、あるいは別の実施形態では、レイヤー構造はもっと複雑で、例えば2つ以上の時間エンハンスメントレイヤーは、スキップスライスを具備して使用することができる。たとえば、エンコーダは、30Hzの空間エンハンスメントレイヤー及び60Hzと120Hzの2つの時間エンハンスメントレイヤーとを実装する構成してもよい。米国特許第7,593,032号明細書および同時係属中の米国特許出願公開第12/539,501内で開示されたような技術を用い、受信器は復号可能かつ表示可能なそれらの時間エンハンスメントレイヤーのみを受信及び復号を行うことができる。エンコーダによって生成された他のエンハンスメントレイヤーは、ビデオルータによって破棄される。

同様の、あるいは別の実施形態では、SNRスケーラビリティを使用できる。特に高精細量子化係数データ（finer quantized coefficient data）及びそれによるテクスチャ情報の少ない量子化エラーの最小化を提供することによって、“SNRスケーラブルレイヤー”は、フレームレートや空間解像度を増加させることなくクオリティ（一般的に信号対雑音比（Signal To Noise ratio）SNRで測定可能）を高めるレイヤーである。あるいは、（複数の）時間エンハンスメントレイヤーは、前述のように空間エンハンスメントレイヤーの代わりに、あるいは空間エンハンスメントレイヤーを加えてSNRスケーラブルレイヤーに基づくことができる。

同様の、あるいは別の実施形態では、スキップスライスは、時間エンハンスメントレイヤーの一部をカバーすることができる。例えば、十分に強力なエンコーダは、スキップスライスを用いることによって時間エンハンスメントレイヤーの背景情報（例えば壁など）を符号化することができるが、時間エンハンスメントレイヤーのためには一般的に知られたツールを定常的に使用して前景情報（例えば話し手の顔）を符号化する。

図1は本願発明に基づいたビデオ送信システムの代表的な構造を図示したブロックダイアグラムである。 図2は本願発明に基づいた代表的なレイヤー化されたビットストリームの代表的なレイヤー構造である。

図1は代表的なビデオ送信システムの例を図示している。前記システムは、エンコーダ101と、少なくとも一つのデコーダ102（同じ場所である必要はなく、同じエンティティ（entity）によって所有され、同時に処理するなど）と、デジタルビデオデータを送信する機能、例えばネットワーククラウド103を具備する。同様に、代表的なデジタルビデオストレージシステムも、エンコーダ104と、少なくとも1つのデコーダ105（同じ場所である必要はなく、同じエンティティによって所有され、同時に処理するなど）と、記録媒体106（例えばDVD）とを具備する。本発明は、デジタルビデオ送信か、デジタルビデオストレージか、または同様のセットアップのエンコーダ101、104内で処理する技術に関する。他の要素102、103、105、106は、通常通りに処理しかつ本発明によって処理する前記エンコーダ101、104の処理との互換に少しの修正も必要としない。

代表的なデジタルビデオエンコーダ（以降では“エンコーダ”）は、非圧縮入力ビデオストリームの圧縮機能に適応される。前記非圧縮入力ビデオストリームは、いくつかの空間と時間の解像度でデジタル化された画素から成ることができる。本発明が種々の解像度及び種々の入力フレームレートの両方に対して実施できる一方、簡潔性のために、以降では固定された空間解像度及び固定されたフレームレートに仮定されかつ議論される。ビットストリームは、記録や送信のためにファイルフォーマットやパケットフォーマットのような周囲の高レベルフォーマットに全体フォームとしてまたは断片的なフォームとして挿入されるかどうかに関わらず、エンコーダの出力は一般的にビットレートとして表される。

エンコーダの現実の実施は、費用、アプリケーションの形式、市場価格、電力予算（budget）、フォームファクタ（form factor）およびその他の多くの要素に依存する。既知のエンコーダの実施は、完全あるいは部分的シリコン実施か（いくつかのモジュールに分けることができる）、DSP上で実行する実施か、メインプロセッサ上で実行する実施か、それらを組み合わせたものを具備する。プログラマブルデバイスが関与であっても、一部のあるいは全てのエンコーダはソフトウェア内に実施されることができる。ソフトウェアはコンピュータ可読メディア107、108に配置することができる。本発明は前述の実施技術を必要としないか排除しない。

排他的にレイヤー化エンコーダに制限を加えないとともに、前記レイヤー化エンコーダの技術内で本発明は有意に利用される。“レイヤー化エンコーダ”という用語は、ここでは2つ以上のレイヤーから成るビットストリームを生成するエンコーダのことを指す。レイヤー化されたビットストリーム内のレイヤーは、しばしば有向グラフの形で図示される、所定の関係の内にある。

図2は本発明によってレイヤー化されたビットストリームの代表的なレイヤー構造を図示したものである。基礎レイヤー201は、QVGA空間解像度（320×240ピクセル）かつ30Hzの固定されたフレームレートによって符号化できる。時間エンハンスメントレイヤー202は、前記フレームレートを60へ高められるが、未だQVGA解像度のままである。空間エンハンスメントレイヤー203は、基礎レイヤーの解像度をVGA解像度（640×480ピクセル）で30Hzに高めることができる。他の時間エンハンスメントレイヤー204は、空間エンハンスメントレイヤー203をVGA解像度で60Hzに高めることができる。

矢印は種々のレイヤーの依存関係を表す。前記基礎レイヤー201は他のレイヤーに依存しておらずかつ、それゆえに、それ自身が有意義に復号され表示できる。前記時間エンハンスメントレイヤー202は前記基礎レイヤー201のみに依存する。同様に前記空間エンハンスメントレイヤー203も前記基礎レイヤーのみに依存する。前記時間エンハンスメントレイヤー204は、直接的に前記2つのエンハンスメントレイヤー202および203に、かつ、間接的に基礎レイヤー201に依存をする。

米国特許第7,593,032号明細書および同時係属中の米国特許出願第12/539,501号内で開示されたような現在のビデオ通信システムは、図2で図示されるように、これらのレイヤーのみを処理するために送信先へ、送信か、中継か、ルーティングするために、レイヤー構造に利点を持つことができる。

先行技術のレイヤー化エンコーダは、多くの場合、同じ技術を、全く同じではないにしろ、各レイヤーを符号化するために用いている。これらの技術は、動き補償による画像間予測として通常は纏められるものを具備しており、かつ動きベクトル探索と、DCTあるいは同様の変換と、他の計算量的に複雑な処理とが必要となる。良く設計されたレイヤー化エンコーダは、異なるレイヤーを符号化する際に共同作用を利用することができるが、レイヤー化エンコーダの計算複雑さは多くの場合依然として、従来の非レイヤー化エンコーダのものよりもかなり高い。従来の非レイヤー化エンコーダは、同じ複雑さの符号化アルゴリズムと、レイヤー階層の最も上のレイヤーでレイヤー化エンコーダと類似した解像度とフレームレートを用いる。

符号化処理後の出力として、レイヤー化エンコーダはレイヤー化されたビットストリームを生成する。ある代表的な実施形態では、レイヤー化されたビットストリームはヘッダーデータに加え、前記4つのレイヤー201、202、203、204に属するビットを具備する。レイヤー化されたビットストリームの正確な構造は本発明とは関連がない。

さらに図2を参照し、通常の符号化アルゴリズムを4つのレイヤー201、202、203、204の全てに適応されるなら、ビットストリームのバジェット（budget）は次のようになる。例えば、前記基礎レイヤー201は1/10倍のビット205を使用し、前記時間エンハンスメントレイヤー202も1/10倍のビット206を使用し、前記エンハンスメントレイヤー203及び204はどちらも4/10倍のビット207、208を使用する。これは同数のビット対画素対時間間隔で正当に使用できる。他のビットレート割り当ては、より視覚効果を高めることができるように使用されることができる。例えば、良く設計されたレイヤー化エンコーダは、特にエンハンスメントレイヤーが時間エンハンスメントレイヤーであるとき、基礎レイヤーとして使用されるそれらのレイヤーのよりも多くのビットを前記エンハンスメントレイヤーに割り当てることができる。

ビットレートの減少は望まれている。もし、全画像の空間領域をカバーして、時間エンハンスメントレイヤー204のすべての画像が1つの大きなスキップスライスの形式で符号化されたなら、前記エンハンスメントレイヤーのビットレート209は、例えば1メガビット毎秒以上から、例えば数百ビット毎秒減少する。結果として、上記したように本発明を使用することによって、前記レイヤー化ビットストリームの前記ビットレートは、本発明を使用しない場合210を100％とすると、本発明を使用する場合211で60％前後になるだろう。

全く同様の理由が計算複雑さに適応される。計算複雑さの割り当てはよく“サイクル”と表現される。サイクルは、例えば、CPUあるいはDSPの命令、あるいは一定数の処理を計測する別の形式であることができる。もし通常の符号化アルゴリズムが4つのレイヤー全てに適応されたなら、基礎レイヤー201は1/10倍のサイクル205で、時間エンハンスメントレイヤーも1/10倍のサイクル206で、エンハンスメントレイヤー203および204はどちらも4/10倍のサイクル207、208であるようになることができる。これは同数のビット対画素対時間間隔で正当に使用できる。他のサイクル割り当ては、全サイクルバジェットをより最適化しうるために使用されることができることに注意すべきである。特に、前述のサイクル割り当ては前記種々のレイヤーの符号化の間の相乗効果は考慮されていない。実際問題として、特に前記エンハンスメントレイヤーが時間エンハンスメントレイヤーの場合は、良く設計されたレイヤー化エンコーダは、基礎レイヤーとして使用されるそれらのレイヤーにエンハンスメントレイヤーよりも多くのサイクルを割り当てることができる。

合計サイクル数と、それによる全体の計算複雑さの減少が望まれている。例えば、もし、全体の画像の前記空間領域をカバーして、前記エンハンスメントレイヤー204のすべての画像が、1つの大きなスキップスライスの形式内で符号化されれば、前記エンハンスメントレイヤーの符号化にかかる前記サイクル数は非常に少なくなり、例えば従来の方法で前記レイヤーを符号化するよりも多くの桁数が少なくなる。その理由は、動きベクトル探索や変換のような本当に計算が複雑な処理の一切が、終始実行さていないためである。スキップスライスを表す前記少数のビットはビットストリームに配置される必要があるが、それは非常に計算が複雑ではない処理で行える。結果として、上記したように本発明を利用することによって、レイヤー化ビットストリームの前記サイクル数は、本発明を使用しない場合210を100%とすると、本発明を使用する場合211で60%前後になるだろう。

スキップスライスを符号化するための前記構文はITU-T Recommendation H.264 Annex G version 03/2009, section 7.3.2.13, “skip_slice_flag”に記載され、またフラグの意味規則はthe semantics section の428ffページに見出すことができ、http://www.itu.int/rec/T-REC-H.264-200903-Iまたはthe International Telecommunication Union, Place des Nations, 1211 Geneva 20, Switzerlandから手に入れることができる。 スキップスライスを表す前記ビットストリーム内に具備される前記ビットはITU-T Recommendation H.264を研究した後の当業者にとって明らかである。

101、104 エンコーダ
102、105 デコーダ
103 ネットワーククラウド
106 記録媒体
107、108 メディア
201 基礎レイヤー
202、204 時間エンハンスメントレイヤー
203 空間エンハンスメントレイヤー

Claims (4)

1. ビデオシーケンスをビットストリームへエンコードする方法であって、前記方法は
   （a）ビデオシーケンスのフレームレートよりも低い第1フレームレートで、基本レイヤーを符号化するステップと、
   （b）前記第1フレームレートで、前記基本レイヤーに基づいて第1空間エンハンスメントレイヤーを符号化するステップと、
   （c）前記第2フレームレートで、前記基本レイヤーに基づいて第2時間エンハンスメントレイヤーを符号化するステップであって、第2フレームレートは前記第1フレームレートより高いが、前記ビデオシーケンスのフレームレート以下であるステップと、
   （d）第3フレームレートで、前記基本レイヤーと、前記第1空間エンハンスメントレイヤーと、前記第2時間エンハンスメントレイヤーとに基づいて第3エンハンスメントレイヤーを符号化するステップとを含み、
   全ての前記第3エンハンスメントレイヤーの符号化された画像は、完全にスキップマクロブロックから成り、
   前記スキップマクロブロックは少なくとも一つのスライスにslice_skip_flagがセットされていることによって表され、
   前記スキップマクロブロックに対して、変形および動き探索は、実行されない方法。
2. 前記請求項1に記載の方法であって、前記フレームレートは可変である方法。
3. 前記請求項1に記載の方法であって、前記フレームレートは固定である方法。
4. 前記請求項１に記載の方法であって、前記ビットストリームは、H.264/SVC形式に従う方法。

Images