JP5242404B2 - ビデオストリーミングにおける適応ｇｏｐ構造 - Google Patents

Description

米国特許法第１１９条のもとでの優先権の主張
本特許出願は、２００５年１０月１７日に出願され、本発明の譲受人に譲渡され、それによって本明細書に参照により明示的に取り入れられる仮出願第６０／７２７，６４０号（“A Method and Apparatus for Using an Adaptive GOP Structure in Video Streaming”）に対して優先権を主張している。

本発明の分野は、符号化に関し、より具体的には、フレームタイプを適応割り当てすることによりビデオを符号化するときに達成可能な時間冗長の除去に関する。

１９９０年代に、テレビジョンの技術は、ビデオを提示および送信するためにアナログ方法を使用することから、ディジタル方法に切り替った。既存のソリッドステート技術がビデオを処理する新しい方法をサポートすることが認められると、ディジタルビデオの利点は直ぐに認識された。ディジタルビデオは、異なるライン数と、インターレースまたはプログレッシブの何れかのラインパターンとを有する種々のタイプの受信機に適合するように処理されることができる。ケーブルテレビ業界（cable industry）は、事実上空中で（on the fly）帯域幅−解像度のトレードオフを変更する機会を歓迎し、優れたピクチャ品質をもつ７ないし８本のディジタルビデオチャネルまたは１２本までのビデオチャネルを、以前は１本のアナログチャネルのビデオを運んでいた帯域幅で送信することを可能にした。ディジタルピクチャは、送信時のマルチパスにより引き起こされるゴーストによって最早影響を受けないであろう。

新しい技術は、映画のような画像およびワイドスクリーン フォーマットをもつ高精細度テレビジョン(high definition television, HDTV)の可能性を提供した。４：３である現在の縦横比とは異なり、ＨＤＴＶの縦横比は１６：９であり、映画のスクリーンと同様である。ＨＤＴＶは、ドルビー ディジタル サラウンド サウンド、すなわち、ＤＶＤおよび多くの映画館で使用されているのと同じディジタル サウンド システムを含むことができる。放送会社は、高解像度のＨＤＴＶプログラムを送信するか、または同じ帯域幅において多数のより低い解像度のプログラムを送るかを選択することができる。ディジタルテレビジョンは、対話式のビデオおよびデータサービスを提供することもできる。

ディジタルテレビジョンを駆動する２つの基礎となる技術がある。第１の技術は、ビデオをサポートするチャネルにおいて一般に得られるより高い信号対雑音比を利用する送信フォーマットを使用する。第２は、１つのピクチャまたは一連のピクチャに存在する不要な空間および時間冗長を取り除く信号処理を使用する。空間冗長は、ピクチャ内に、その中にほとんど変化のないピクチャの比較的に大きいエリアとして現われる。時間冗長は、後または前のピクチャに再び現れるピクチャの部分を指す。それを削除することによって、連続するピクチャ内に含まれているデータの複製は最小化される。削除は、動きベクトル情報−すなわち、データのブロックに対するポインタ−検討されているブロックに対する参照になるものと、参照ブロックとビデオ復号器に処理されるブロックとの間の差を示す情報とを送ることによって達成される。

時間圧縮は、標準により可能になった動き予測のタイプによって定義されている。ＭＰＥＧ２は、３つのタイプのピクチャ、すなわち、Ｉ(イントラコード化（Intracoded）)ピクチャ、Ｐ(予測符号化(Predictively Coded))ピクチャ、およびＢ(双方向符号化（Bidirectionally Coded）)ピクチャを可能にしている。Ｈ．２６４は、“スキップフレーム”符号化オプションを加えている。

Ｉピクチャは独立的に符号化される。ＭＰＥＧ２標準は、空間圧縮のみを使用して、Ｉピクチャを圧縮することを可能にしているが、より最近のＨ．２６４標準では、Ｉピクチャ内の予測を可能にした。

Ｐピクチャは、それに時間的に先行するＩピクチャまたはＰピクチャから直接的に予測されるが、Ｐピクチャ内の個々のブロックは、空間圧縮を使用して独立的に常に符号化されることができる。最良の予測ブロックが、Ｐフレームブロックを表現するのに必要なビット数を適切に低減しないときは、このオプションが選択され得る。

Ｂピクチャブロックに対する参照は、時間内で符号化されるフレームにまたがる（straddle）ＩまたはＰピクチャから求められる。ＭＰＥＧ２標準では、２つのみのピクチャ、すなわち、時間的に１つ前のものと１つ後のものとを、双方向予測に対する参照ブロックの源として使用することができる。Ｈ．２６４標準では、３２個までのピクチャを使用して、参照ブロックの源を見付けることができる。

フレームに対する符号化タイプをどのようにして適切に割り当てるかを判断する革新的なシステムが必要とされている。

発明の概要

この態様の１つの態様は、ビデオフレームを符号化する方法であって、選択されたフレームと少なくとも１つの隣り合うフレームとの間の差を示す少なくとも1つのメトリックを判断することであって、判断は隣り合うビデオフレームに関連した動き情報に基づくことと、判断されたメトリックに基づいて、ビデオフレームの各々に対する符号化方法を適応割り当てすることとを含む方法を含む。

この態様のさらに別の態様は、ビデオフレームを符号化するのに使用される装置であって、選択されたフレームと少なくとも１つの隣り合うフレームとの間の差を示す少なくとも１つのメトリックを判断するメトリックモジュールであって、前記メトリックは動き情報に基づく、メトリックモジュールと、判断されたメトリックに基づいて複数のフレームの各々に対する符号化方法を適応割り当てする決定モジュールとを含む装置を含む。

この態様のさらに別の態様は、ビデオフレームを符号化するのに使用される装置であって、選択されたフレームと少なくとも１つの隣り合うフレームとの間の差を示す少なくとも１つのメトリックを判断する手段であって、前記メトリックは動き情報に基づく、手段と、判断されたメトリックに基づいてフレームの各々に対する符号化方法を適応割り当てする手段とを含む装置を含む。

この態様のさらに別の態様は、命令を含む機械読み出し可能媒体を含み、命令は、実行されると、機械に、選択されたフレームと少なくとも１つの隣り合うフレームとの間の差を示す、動き情報に基づく少なくとも1つのメトリックを判断させ、判断されたメトリックに基づいてビデオフレームの各々に対する符号化方法を適応割り当てさせる。

この態様のさらに別の態様は、選択されたフレームと少なくとも１つの隣り合うフレームとの間の差を示す、動き情報に基づく少なくとも１つのメトリックを判断し、判断されたメトリックに基づいて複数のフレームの各々に対する符号化方法を適応割り当てする構成を含むビデオ圧縮プロセッサを含む。

詳細な説明

次の詳細な説明は、本発明の特定の態様に関する。しかしながら、本発明は、請求項によって定義およびカバーされているような多数の異なるやり方で具現することができる。この説明では、全体を通じて同じ部分が同じ参照番号で示されている図面を参照している。

図１は、複数の端末への圧縮されたビデオのディジタル送信をサポートしている送信システムの機能ブロック図である。ディジタルビデオの源１が提示され、これはディジタルケーブルテレビの供給（digital cable feed）、ディジタル化されたアナログの高い信号／比率の源、またはＤＶＤプレーヤの圧縮されていないディジタル出力であり得る。ディジタルビデオは、送信設備２において圧縮され、そこで、ネットワーク９を介して端末３へ送信するために搬送波上に変調され得る。

ディジタルビデオは、２つのフォーマット、すなわち、テレシネ(telecine)で生成されたものまたはＮＴＳＣ放送装置で生成されたものの一方をもち得る。源の特性が分かっていて、理想的に適合する処理形式を選択するのに使用されるとき、ビデオ圧縮は最良の結果を与えるので、ＮＴＳＣとテレシネ化されたビデオとを区別し、後者をその元のフォーマットに戻すことは有益であり得る。例えば、放送されていないビデオ（off-the-air video）は、幾つかのやり方で生成することができる。ビデオカメラ、放送スタジオ、等において−従来通りに生成される放送ビデオは、米国ではＮＴＳＣ標準に準拠している。標準によると、各フレームは２つのフィールドから構成されている。一方のフィールドは奇数ラインから成り、他方のフィールドは偶数ラインから成る。フレームは、約３０フレーム／秒で生成される一方で、フィールドは、１／６０秒間隔であるテレビジョンカメラの画像の記録である。他方で、フィルムは２４フレーム／秒で撮影され、各フレームは完全な画像から成る。フィルムのＮＴＳＣ互換バージョンが、テレシネ マシンで放送するために作成され、テレシネ マシンにおいて、そのフィルムは、公称のＮＴＳＣのフレームレートで実行されるビデオ撮像装置（video imager）に投影される。

図２において、送信するデータを準備するのに使用され得る信号準備ユニット15が、ブロック図の形で示されている。源ビデオユニット19において回復されたディジタルビデオ フレームは、位相検出器21に送られる。位相検出器21は、テレシネで生成されたビデオと標準の放送フォーマットで始まったビデオとを最初に区別する。ビデオがテレシネ化されたと決定されると（位相検出器21から出ているイエス決定経路)、テレシネ化されたビデオは、その元のフォーマットに逆テレシネ23で戻される。冗長フレームが識別および削除され、同じビデオフレームから得られたフィールドは、完全な画像に編み直される。再構成されたフィルム画像の系列は、１／２４秒の通常の間隔で写真のように記録されているので、通常とは異なる時間に基づいたテレシネ化されたデータではなく、逆テレシネ化された画像を使用すると、圧縮ユニット27において行われる動き推定プロセスは、より正確になる。

従来のＮＴＳＣビデオが認識されると(参照番号21からのノー経路)、それは、圧縮のために、ブロック17においてデインターレースされ、１／６０秒の間隔で記録されたビデオフィールドになる。フィールドは、フレームよりも時間的により近接しているので、フレームではなくフィールドが、ブロック17によって生成され、一瞬の時間において走査される。両者の理由のために、動き推定の参照として使用することができる類似ブロックを見付ける可能性は、フレームではなくフィールドを用いると、より高くなる。

ビデオストリームの開始点は常に変わり得るので、決定プロセスは、源19からのビデオフレームストリームとして連続している。ＮＴＳＣ標準に準拠するビデオは、例えば、コマーシャルとして、テレシネのビデオ出力に挿入され得る。検出器21において下される決定は正確であることが望ましい。従来通りに生成されたＮＴＳＣを、それがテレシネ化されたかのように処理することは、ビデオ信号の情報のひどい損失を引き起こすであろう。

信号準備ユニット15は、さらにピクチャグループ（group of picture, GOP）分割器26を組み込んで、一緒に符号化されるピクチャグループの構成を適応変更する。ＭＰＥＧ２、すなわち、より古いビデオ圧縮標準は、ＧＯＰが一定の構造（regular structure）をもつことを要求していないが、課すことができる。ＭＰＥＧ２の系列は、常にＩフレーム、すなわち、前のピクチャを参照することなく符号化されるフレームで始まる。ＭＰＥＧ２のＧＯＰフォーマットは、一般に、符号器において、Ｉフレームに続くＰまたは予測ピクチャのＧＯＰにおける間隔を固定することによって事前に決められる。Ｐフレームは、前のＩまたはＰピクチャから部分的に予測されるピクチャである。最初のＩフレームと後のＰフレームとの間のフレームは、Ｂフレームとして符号化される。“Ｂ”フレーム(Ｂは、双方向（bi-directional）を表わす)は、前および次のＩまたはＰピクチャを、個々にまたは同時に参照として使用することができる。Ｉフレームを符号化するのに必要とされるビット数は、平均して、Ｐフレームを符号化するのに必要とされるビット数を上回る。同様に、Ｐフレームを符号化するのに必要とされるビット数は、平均して、Ｂフレームに必要とされるビット数を上回る。スキップされるフレームは、それが使用される場合、それを表現するためのビットを必要としない。

ＰおよびＢフレームを使用することの１つの恩恵、並びにより最近の圧縮アルゴリズムにおいて、フレームのスキッピングにより、ビデオ送信サイズを低減することが可能である。先に復号されたＩまたはＰピクチャは、他のＰまたはＢピクチャを復号するための参照として後で使用されるので、時間冗長が高いとき−すなわち、ピクチャごとにほとんど変化がない時間冗長を無くすことによって−Ｐ、Ｂ、またはスキップされたピクチャを使用することは、ビデオストリームを効率的に表現する。

ピクチャグループ分割器26は、フレームを適応符号化し、時間冗長を最小化する。フレーム間の差が量子化され、量子化された差に対して適切な試験が行われた後で、Ｉ、Ｐ、Ｂ、またはスキップされたフレームによってピクチャを表現するという決定が自動的に下される。ＧＯＰ分割器26および圧縮器27における処理は、プリプロセッサ25によって助けられ、これは雑音除去のために２次元のフィルタリングを与える。

適応符号化プロセスは、“固定”符号化プロセスにおいて得られなかった長所をもつ。固定のプロセスは、内容の変化がほとんど起きない可能性を無視するが、適応手続きは、はるかにより多くのＢフレームが、各ＩおよびＰフレーム間、または２つのＰフレーム間に挿入されることを可能にし、それによって、フレームの系列を適切に表現するのに必要なビット数を低減する。逆に、例えば、固定符号化プロセスでは、ビデオ内容の変化が大きいとき、予測フレームと参照フレームとの差が大き過ぎるので、Ｐフレームの効率は大幅に下がる。これらの条件では、一致するオブジェクトが動きサーチ領域から外れ得るか、またはカメラアングルの変化によって引き起こされる歪みにより、一致するオブジェクト間の類似性が低減する。適応符号化プロセスは、Ｐフレームが符号化されるべきときを任意に判断するのに有効に使用され得る。

本明細書に開示されているシステムにおいて、上述の条件のタイプは自動的に感知される。本明細書に説明されている適応符号化プロセスは、柔軟性があり、内容におけるこれらの変化に適応するように行われる。適応符号化プロセスは、フレームの差のメトリック（フレーム間の距離の基準（measure）と見なすことができる）を、距離の同じ付加的な特性と共に評価する。概念において、フレームＦ_１、Ｆ_２、およびＦ_３がフレーム間の距離ｄ_１２およびｄ_２３をもつとき、Ｆ_１とＦ_３との間の距離は少なくともｄ_１２＋ｄ_２３であると考えられる。フレーム割り当ては、この距離のようなメトリック（distance-like metric)および他の基準に基づいて行われる。ＧＯＰ分割器の動作原理は、図３Ａに示されており、この中で、ＧＯＰ分割器26はその機能構成要素に分けられている。図３ＡにおけるＧＯＰシステム90は、メトリック判断モジュール91と符号化タイプ割り当てモジュール93とから構成されている。

ＧＯＰ分割器26は、フレームが受信されると、それらにピクチャタイプを割り当てることによって動作する。ピクチャタイプは、各ブロックを符号化するのに使用され得る予測の方法を示している。

Ｉピクチャは、他のピクチャを参照せずに符号化される。Ｉピクチャは独立しているので、これらはデータストリームにおけるアクセスポイントを与え、そこから復号を開始することができる。先行フレームに対する“距離”がシーン変化閾値を越えると、Ｉ符号化タイプがフレームに割り当てられる。

Ｐピクチャは、前のＩまたはＰピクチャを動き補償予測に使用することができる。これらは、符号化の基準として、予測されるブロックから変位しているかもしれない前のフィールドまたはフレーム内のブロックを使用する。参照ブロックが、検討されているブロックから減算された後で、空間冗長を削除するために通常は離散コサイン変換を使用して、残りのブロックが符号化される。フレームと、Ｐフレームであると割り当てられた最も近い（last）フレームとの間の“距離”が、通常は第１の閾値よりも小さい第２の閾値を越えると、Ｐ符号化タイプが、そのフレームに割り当てられる。

Ｂフレームピクチャは、既に説明したように、前および次のＰまたはＩピクチャを動き補償に使用することができる。Ｂピクチャ内のブロックは、前方向、逆方向、または双方向で予測されることができるか、または、他のフレームを参照することなく、イントラコード化(intra-coded)され得る。Ｈ．２６４では、参照ブロックは、同数のフレームからの同数の３２ブロックの線形結合であり得る。フレームをＩまたはＰタイプであると割り当てることができないとき、そのフレームからその直前のフレームまでの“距離”が、通常は第２の閾値よりも小さい第３の閾値よりも大きい場合は、それをＢタイプであるように割り当てることができる。そのフレームを、Ｂフレームで符号化されるように割り当てることができないとき、それは“スキップフレーム”状態に割り当てられる。このフレームは事実上前のフレームのコピーであるので、このフレームはスキップすることができる。

表示順において隣り合うフレーム間の差を量子化するメトリックを評価することは、ＧＯＰ分割器26において行われるこの処理の第１の部分である。このメトリックは、上述で記載した距離であり、これを用いて、全てのフレームは、その適切なタイプに対して評価される。したがって、Ｉと隣り合うＰとの間、または２つの連続するＰフレーム間の間隔は、可変であり得る。メトリックの計算は、ブロックをベースにした動き補償器を用いてビデオフレームを処理することによって始まる。ブロックは、ビデオ圧縮の基本単位であり、通常は１６×１６画素から成るが、８×８、４×４、および８×１６のような他のブロックサイズが可能である。ブロック17の出力に存在する２つのデインターレースされたフィールドから成るフレームに対して、動き補償はフィールドをベースにして行われ、参照ブロックに対するサーチは、フレームではなく、フィールドで行われる。現在のフレームの第１のフィールド内のブロックに対して、前方向参照ブロックは、それに隣り合う後のフレームのフィールド内で見付けられ、同様に、逆方向参照ブロックは、現在のフィールドの直前の、すなわち、同じくそれに隣り合うフレームのフィールド内で見付けられる。現在のブロックは、補償されたフィールドに組み立てられる。プロセスは、フレームの第２のフィールドに続く。２つの補償されたフィールドは結合されて、前方向および逆方向補償されたフレームを形成する。

逆テレシネ23で生成されたフレームでは、再構成されたフィルムのフレームのみが生成されるので、参照ブロックに対するサーチは、フレームのみをベースにし得る。現在のフレームの直ぐ隣のフレームからの２つの参照ブロックと、前方向および逆方向の２つの差とを見付け、前方向および逆方向補償されたフレームをさらに導き出す。要約すると、動き補償器は、全てのブロックに対して動きベクトルと差のメトリックとを生成する。メトリックにおける差は、検討されているフィールドまたはフレーム内のブロックと、それに最も良く一致するブロックとの間において、前方向の差が評価されるか、または逆方向の差が評価されるかに応じて、前のフィールドまたはフレームか、あるいはその直ぐ後のフィールドまたはフレームの何れかにおいて評価されることに注意すべきである。輝度値のみが、この計算に入る。

したがって、動き補償ステップは、２つのセットの差を生成する。これらは、現在のブロックの輝度値と、現在のフレームの時間的に直前および直後のフレームから取った参照ブロックの輝度値との間にある。各前方向の差および各逆方向の差の絶対値が、ブロック内の各画素に対して判断され、各々は、フレーム全体で個々に加算される。フレームを構成しているデインターレースされたＮＴＳＣフィールドが処理されるとき、両者のフィールドが２つの和に含まれる。このやり方で、ＳＡＤ_ＰおよびＳＡＤ_Ｎ、すなわち、前方向および逆方向の差の加算された絶対値が見付けられる。

全フレームにおいて、ＳＡＤ比は、次の関係を使用して計算される。

なお、ＳＡＤ_ＰおよびＳＡＤ_Ｎは、それぞれ前方向および逆方向の差の加算された絶対値である。小さい正の数εを分子に加え、“ゼロによる除算”の誤りを防ぐ。ＳＡＤ_ＰまたはＳＡＤ_Ｎがゼロに近いときは、同様のεの項を分母に加え、γの感度（seisitivity）をさらに下げる。

別の態様において、差は、ＳＳＤ、すなわち、差の平方の和（sum of squared difference）、およびＳＡＤ、すなわち、差の絶対値の和（sum of absolute difference）、またはＳＡＴＤ（ブロックの要素の差を取る前に、画素ブロックの値に２次元離散コサイン変換を適用することによって、画素ブロックの値が変換される）であり得る。和は、アクティブなビデオのエリア全体で評価されるが、他の態様では、より小さいエリアが使用され得る。

受信された(動き補償されていない)全てのフレームの輝度ヒストグラムも計算される。ヒストグラムは、輝度値のブロックに対して、それが使用可能である場合に、２次元離散コサイン変換を適用した結果である係数をもつ１６×１６の配列におけるＤＣ係数、すなわち、（０，０）の係数に対して動作する。同等に、１６×１６のブロックにおける輝度の２５６個の値の平均値が、ヒストグラムにおいて使用され得る。輝度深度が８ビットである画像において、ビンの数は１６に設定される。次のメトリックは、ヒストグラムの差を評価する。

上記において、Ｎ_Ｐｉは、ｉ番目のビンにおける前のフレームからのブロック数であり、Ｎ_Ｃｉは、ｉ番目のビンに属する現在のフレームからのブロック数であり、Ｎは、フレーム内の総ブロック数である。

これらの中間結果を集めて、現在のフレームの差のメトリックを次のように形成する。

なお、γ_Ｃは、現在のフレームに基づくＳＡＤ比であり、γ_Ｐは、前のフレームに基づくＳＡＤ比である。シーンが滑らかな動きをし、そのルマ（luma）のヒストグラムがほとんど変化しないときは、

である。現在のフレームが、急激なシーンの変化を表示するときは、γ_Ｃは大きくなり、γ_Ｐは小さくなるはずである。γ_Ｃのみではなく、比

が使用されると、メトリックは、コンテキストのアクティビティレベルに正規化される。

図３Ｂにおけるデータフロー30は、フレームの差のメトリックを計算するのに使用され得る特定の構成要素を示している。プリプロセッサ25は、ＮＴＳＣの源をもつビデオの場合はインターレースされたフィールドを、ビデオの源が逆テレシネの結果であるときはフィルム画像のフレームを、双方向動き補償器33に送る。双方向動き補償器33は、フィールドを１６×１６画素のブロックに割り、各ブロックを、前のフレームのフィールドの定義エリア内の全ての１６×１６ブロックと比較することによって、そのフィールド(または、映画の源のビデオの場合は、フレーム)を操作する。最良の一致を与えるブロックが選択され、現在のブロックから減算される。差の絶対値を取り、その結果を、現在のブロックを構成している２５６画素で加算する。これが、フィールドの全ての現在のブロック、次に、両者のフィールドに対して行われると、量ＳＡＤ_Ｎ、すなわち逆方向の差のメトリックが、逆方向の差のモジュール37によって計算される。同様の手続きは、前方向の差のモジュール36によって行われ得る。前方向の差のモジュール36は、時間的に現在のフレームの直前のフレームを参照ブロックの源として使用し、ＳＡＤ_Ｐ、すなわち前方向の差のメトリックを生成する。しかしながら、入力フレームが逆テレシネで形成されているときは、同じ推定プロセスが、回復されたフィルムフレームを使用して行われる。フレームの差のメトリックの計算を完成するのに必要とされるヒストグラムは、ヒストグラム差モジュール41において形成される。各１６×１６ブロックは、その輝度の平均値に基づいてビンに割り当てられる。この情報は、ブロック内の全２５６画素の輝度値を一緒に加算し、所望であれば、それを２５６によって正規化し、平均値が置かれるビンのカウントをインクリメントすることによって形成される。計算は、各動き補償される前のフレームに対して１回行われ、新しい現在のフレームが到着すると、現在のフレームに対するヒストグラムは、前のフレームに対するヒストグラムになる。２つのヒストグラムは、ヒストグラム差モジュール41内のブロック数によって区別および正規化され、式２によって定義されているλを形成する。これらの結果は、フレーム差結合器43において結合され、フレーム差結合器43は、ヒストグラム差モジュール41、前方向差モジュール36、および逆方向差モジュール37において見付かった中間結果を使用して、式（３）に定義されている現在のフレームの差を評価する。

図４のフローチャート50は、フレームに圧縮タイプを割り当てるプロセスを説明している。１つの態様において、Ｍ、すなわち、式３で定義されている現在のフレームの差は、フレーム割り当てに関して下される全ての決定に対する根拠である。決定ブロック53が、検討されているフレームが系列中の最初のものであると示すと、イエスと示された決定経路をブロック55まで進み、それによって、そのフレームがＩフレームであると宣言する。ブロック57において、蓄積されたフレームの差はゼロに設定され、（ブロック58において）プロセスは開始ブロック53に戻る。検討されているフレームが系列内の最初のフレームでないときは、この決定を下したブロック53から、ノーと示された経路を進み、試験ブロック59において、現在のフレームの差が、シーン変化の閾値に対して試験される。現在のフレームの差が、その閾値よりも大きいときは、イエスと示された決定経路をブロック55まで進み、再びＩフレームの割り当てになる。現在のフレームの差が、シーン変化の閾値よりも小さいときは、ノーの経路をブロック61まで進み、現在のフレームの差が蓄積されたフレームの差に加えられる。決定ブロック63までフローチャートを続けて進み、蓄積されたフレームの差は閾値ｔと比較される。閾値ｔは、通常、シーン変化の閾値よりも小さい。蓄積されたフレームの差がｔよりも大きいときは、制御はブロック65に移り、フレームはＰフレームに割り当てられ、次に、ステップ67において、蓄積されたフレームの差はゼロにリセットされる。蓄積されたフレームの差がｔよりも小さいときは、制御はブロック63からブロック69に移る。ここで、現在のフレームの差は、ｔよりも小さいτと比較される。現在のフレームの差がτよりも小さいときは、ブロック73において、フレームはスキップに割り当てられ、現在のフレームの差がτよりも大きいときは、フレームはＢフレームに割り当てられる。

フローチャート30のシステムおよびその構成要素またはステップは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはその任意の組合せによって実施することができる。プリプロセッサ25、双方向動き補償器33、前方向差メトリックモジュール36、逆方向差メトリックモジュール37、ヒストグラム差モジュール41、およびフレーム差メトリック結合器43を含む、フローチャート30の各機能構成要素は、独立の構成要素として実現されるか、別のデバイスの構成要素におけるハードウェア、ファームウェア、ミドルウェアとして組み込まれるか、プロセッサ上で実行されるマイクロコードまたはソフトウェアにおいて実施されるか、あるいはその組合せであり得る。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実施されるとき、所望のタスクを行うプログラムコードまたはコードセグメントは、記憶媒体のような機械読み出し可能媒体に記憶され得る。コードセグメントは、手続き、機能、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラム文の任意の組合せを表わし得る。コードセグメントは、情報、データ、引き数、パラメータ、またはメモリ内容を送信および／または受信することによって、別のコードセグメントまたはハードウェア回路に連結され得る。

受信および処理されたデータは、記憶媒体に記憶されることができ、記憶媒体は、例えば、チップに構成された記憶媒体(例えば、ＲＯＭ、ＲＡＭ)またはディスクタイプの記憶媒体(例えば、磁気または光)を含むことができ、プロセッサ25に接続されている。幾つかの態様において、結合器43は、記憶媒体の一部または全てを含むことができる。

別の態様では、別のフレーム符号化の複雑さのインジケータＭ^＊は、次のように定義される。

Ｍ^＊は、フローチャート50において、Ｍ、すなわち現在のフレームの差の代わりに使用することができる。なお、αはスカラであり、ＳＡＤ_Ｐは、前方向の動き補償を用いたＳＡＤであり、ＭＶ_Ｐは、前方向の動き補償からの動きベクトルの画素において測定される長さの和であり、ｓおよびｍは、ＳＡＤ_Ｐがｓよりも小さいか、またはＭＶ_Ｐがｍよりも小さいときに、フレーム符号化の複雑さのインジケータをゼロにする２つの閾値の数値である。Ｍ^＊は、図４のフローチャート50において、現在のフレームの差の代わりに使用される。理解され得るように、前方向の動き補償が、低レベルの動きを示すときのみ、Ｍ^＊はＭと異なる。この場合、Ｍ^＊はＭよりも小さい。

態様が、フローチャート、流れ図、構造図、またはブロック図として示されているプロセスとして説明され得ることに注意すべきである。フローチャートは、動作を連続的なプロセスとして説明し得るが、動作の多くは、並行してまたは同時に行うことができる。さらに、動作の順序は並べ替えられ得る。動作が完了すると、プロセスは終了する。プロセスは、方法、機能、手続き、サブルーチン、サブプログラム、等に相当し得る。プロセスが機能に相当するとき、その終了は、その機能を呼び出し機能またはメイン機能に戻すことに相当する。

当業者には、本明細書に開示されているデバイスの１つ以上の要素が、デバイスの動作に影響を与えることなく再配置され得ることも明らかであるはずである。同様に、本明細書に開示されているデバイスの１つ以上の要素は、デバイスの動作に影響を与えることなく結合され得る。当業者は、情報および信号が種々の異なる技法および技術の何れかを使用して表現され得ることが分かるであろう。当業者には、本明細書に開示されている例に関連して説明された種々の例示的な論理的なブロック、モジュール、およびアルゴリズムのステップが、電子ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、またはその組合せとして実施され得ることも分かるであろう。ハードウェアとソフトウェアとのこの互換性を明白に説明するために、種々の例示的な構成要素、ブロック、モジュール、回路、およびステップは、それらの機能性の点から上述で概ね説明された。このような機能性がハードウェアとして実施されるか、またはソフトウェアとして実施されるかは、システム全体に課された個々の用途および設計の制約に依存する。熟練した技能をもつ者は、各個々の用途のために種々のやり方で、説明された機能性を実施し得るが、そのような実施の決定は、開示された方法の範囲からの逸脱を招くものとして解釈されるべきではない。

本明細書に開示されている例に関連して説明されたアルゴリズムまたは方法のステップは、ハードウェアにおいて、プロセッサによって実行されるソフトウェアモジュールにおいて、または２つの組合せにおいて直接的に具体化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ−ＲＯＭ、または技術的に知られている記憶媒体の任意の他の形態の中に存在し得る。例示的な記憶媒体はプロセッサに接続され、プロセッサが記憶媒体から情報を読み出し、かつそこへ情報を書き込みことができるようにする。その代りに、記憶媒体は、プロセッサと一体構成であってもよい。プロセッサおよび記憶媒体は、特定用途向け集積回路（application specific integrated circuit, ASIC）に存在し得る。ＡＳＩＣは、無線モデムに存在し得る。その代りに、プロセッサおよび記憶媒体は、無線モデムにおいてディスクリートな構成要素として存在し得る。

さらに、本明細書において開示された例に関連して説明された種々の例示的な論理ブロック、構成要素、モジュール、および回路は、汎用プロセッサ、ディジタル信号プロセッサ（digital signal processor, DSP）、特定用途向け集積回路（ＡＳＩＣ）、フィールド プログラマブル ゲート アレイ（field programmable gate array, FPGA）または他のプログラマブル論理デバイス、ディスクリートなゲートまたはトランジスタ論理、ディスクリートなハードウェア構成要素、あるいは本明細書に説明されている機能を実行するように設計された任意の組合せで実施または実行され得る。汎用プロセッサは、マイクロプロセッサであってもよいが、その代わりに、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であってもよい。プロセッサは、コンピューティングデバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰのコアに関連した１つ以上のマイクロプロセッサ、または任意の他のこのような構成としても実施され得る。

開示された例の上述の説明は、当業者が開示された方法および装置を作成または使用できるようにするために与えられている。これらの例に対する種々の変更は当業者に容易に明らかになり、本明細書に定義されている原理は、開示されている方法および装置の意図および範囲から逸脱することなく、他の例および追加の要素に適用され得る。態様の説明は、例示的であって、請求項の範囲を限定することを意図していない。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[１]ビデオフレームを符号化する方法であって、
選択されたビデオフレームと少なくとも１つの隣り合うビデオフレームとの間の差を示す少なくとも１つのメトリックを判断することであって、判断は隣り合うビデオフレームに関連した動き情報に基づくことと、
判断されたメトリックに基づいて、選択されたビデオフレームに符号化方法を適応割り当てすることとを含む方法。
[２]割り当てられた符号化方法に基づいてＩ、Ｂ、またはＰフレームとして、選択されたフレームを符号化することをさらに含む請求項１記載の方法。
[３]割り当てられた符号化方法は、選択されたフレームの符号化をスキップすることを含む請求項１記載の方法。
[４]メトリックを少なくとも１つの閾値と比較することをさらに含む方法であって、選択されたビデオフレームに割り当てられた符号化方法は、比較に基づいて判断される請求項１記載の方法。
[５]閾値は、シミュレーションによって判断される請求項４記載の方法。
[６]閾値は、シーンの変化を示す請求項４記載の方法。
[７]メトリックが閾値を越えているかどうかを判断することと、
メトリックが閾値を越えているときは、選択されたフレームをＩフレームのフォーマットで符号化することとをさらに含む請求項４記載の方法。
[８]選択されたフレームがＩフレームのフォーマットで符号化されるとき、メトリックはゼロに設定される請求項７記載の方法。
[９]閾値が全ての比較においてメトリックよりも大きいとき、選択されたフレームに割り当てられる符号化方法は、選択されたフレームの符号化をスキップすることを含む請求項４記載の方法。
[１０]ビデオフレームを符号化する装置であって、
選択されたビデオフレームと少なくとも１つの隣り合うフレームとの間の差を示す少なくとも１つのメトリックを判断するメトリックモジュールであって、前記メトリックは動き情報に基づく、メトリックモジュールと、
判断されたメトリックに基づいて、選択されたビデオフレームに符号化方法を適応割り当てする決定モジュールとを含む装置。
[１１]決定モジュールの符号化方法は、割り当てられた符号化方法に基づいてＩ、Ｂ、またはＰフレームとして、選択されたフレームを符号化することを含む請求項１０記載の装置。
[１２]決定モジュールの割り当てられた符号化方法は、選択されたフレームの符号化をスキップすることを含む請求項１０記載の装置。
[１３]決定モジュールは、メトリックの少なくとも１つを、少なくとも１つの閾値と比較して、符号化方法の１つを選択することをさらに含む方法請求項１０記載の装置。
[１４]選択されたフレームがＩフレームフォーマットで符号化されるとき、メトリックモジュールはメトリックをゼロに設定する請求項１３記載の装置。
[１５]決定モジュールは、シーンの変化を示す少なくとも１つの閾値を使用する請求項１３記載の装置。
[１６]閾値が全ての比較においてメトリックよりも大きいとき、決定モジュールは、選択されたフレームの符号化をスキップする請求項１３記載の装置。
[１７]ビデオフレームを符号化する装置であって、
選択されたビデオフレームと少なくとも１つの隣り合うフレームとの間の差を示す少なくとも１つのメトリックを判断する手段であって、前記判断は隣り合うビデオフレームに関連した動き情報に基づく、手段と、
判断されたメトリックに基づいて、選択されたビデオフレームに符号化方法を適応割り当てする手段とを含む装置。
[１８]符号化方法を割り当てる手段は、割り当てられた符号化方法に基づいてＩ、Ｂ、またはＰフレームとして、選択されたフレームを符号化することを含む請求項１７記載の装置。
[１９]符号化方法を割り当てる手段は、選択されたフレームの符号化をスキップすることを含む請求項１７記載の装置。
[２０]符号化方法を適応割り当てする手段は、メトリックを少なくとも１つの閾値と比較することと、その比較に基づいて、選択されたビデオフレームに符号化方法を割り当てることとをさらに含む請求項１７記載の装置。
[２１]選択されたフレームがＩフレームとして符号化されるとき、メトリックの少なくとも１つはゼロに設定される請求項１８記載の装置。
[２２]閾値は、シミュレーションによって判断される請求項２０記載の装置。
[２３]閾値は、シーンの変化を示す請求項２０記載の装置。
[２４]符号化方法を適応割り当てする手段は、メトリックが閾値を越えているかどうかを判断することと、メトリックが閾値を越えているときは、選択されたフレームをＩフレームフォーマットで符号化することとをさらに含む請求項２０記載の装置。
[２５]閾値が全ての比較においてメトリックよりも大きいとき、符号化方法を適応割り当てする手段は、選択されたフレームの符号化をスキップすることをさらに含む請求項２１記載の装置。
[２６]選択されたフレームがＩフレームフォーマットで符号化されるとき、メトリックはゼロに設定される請求項２４記載の装置。
[２７]ビデオフレームを符号化する命令を含む機械読み出し可能媒体であって、命令は、実行されると、機械に、
選択されたフレームと隣り合うフレームとの間の差を示す、動き情報に基づく少なくとも１つのメトリックを判断させ、
判断されたメトリックに基づいて、選択されたビデオフレームに符号化方法を適応割り当てさせる、機械読み出し可能媒体。
[２８]命令は、さらに、機械に、割り当てられた符号化方法に基づいてＩ、Ｂ、またはＰフレームとして、選択されたフレームを符号化させる請求項２７記載の機械読み出し可能媒体。
[２９]選択されたフレームと隣り合うフレームとの間の差を示す、動き情報に基づく少なくとも１つのメトリックを判断し、
判断されたメトリックに基づいて、フレームの各々に符号化方法を適応割り当てする構成を含むビデオ符号化プロセッサ。
[３０]割り当てることは、割り当てられた符号化方法に基づいてＩ、Ｂ、またはＰフレームとして、選択されたフレームを符号化することをさらに含む請求項２９記載のビデオ符号化プロセッサ。

ビデオ送信システムを示すブロック図。 図１の構成要素の別の態様を示すブロック図。 フレームに符号化タイプを割り当てるシステムの構造を示すブロック図。 図２の構成要素の１つがフレームの差のメトリックを計算するプロセスを説明するフローチャート。 図２および３における構成要素が、フレームの差のメトリックを使用して、複数のビデオフレームに圧縮タイプを割り当てる手続きを説明するフローチャート。

符号の説明

15・・・信号準備ユニット、90・・・ＧＯＰシステム、30・・・データフロー、50・・・フローチャート。

Claims (25)

1. ビデオフレームを符号化する方法であって、
   選択されたビデオフレームとこれに隣接する少なくとも１つのビデオフレームとの間の差を示す少なくとも１つのメトリックを判断すること、このメトリックは選択されたビデオフレームとその前後にそれぞれ隣接する先行ビデオフレームおよび後続ビデオフレームとの間の輝度値の差の比ならびに選択されたビデオフレームと前記先行ビデオフレームとの間の輝度ヒストグラム差とに基づいて判断される、と、
   前記判断されたメトリックに基づいて、選択されたビデオフレームに符号化方法を適応割り当てすることとを含み、この適応割り当てされる符号化方法は、
   前記判断されたメトリックがシーンの変化を示す第１の閾値よりも大きいときに選択されたビデオフレームをイントラフレーム予測符号化（Ｉ）フレームタイプのものとして符号化することと、
   前記判断されたメトリックが前記第１の閾値よりも小さい第２の閾値よりも大きいときは選択されたビデオフレームを単一方向性のインターフレーム予測符号化（Ｐ）フレームタイプのものとして符号化することと、
   前記判断されたメトリックが前記第２の閾値よりも小さい第３の閾値よりも大きいときは選択されたビデオフレームを双方向性のインターフレーム予測符号化（Ｂ）フレームタイプのものとして符号化すること、
   とを含む方法。
2. 割り当てられた符号化方法は、選択されたフレームの符号化をスキップすることを含む請求項１記載の方法。
3. 前記第１の閾値、第２の閾値、第３の閾値の少なくとも一つは、シミュレーションによって決定される請求項１記載の方法。
4. 選択されたフレームがＩフレームタイプのものとして符号化されるときは、判断されたメトリックはゼロに設定される請求項１記載の方法。
5. 前記第３の閾値が前記決定されたメトリックよりも大きいときは、前記選択されたフレームに割り当てられる符号化方法は、選択されたフレームの符号化をスキップすることを含む請求項１記載の方法。
6. 前記判断されたメトリックは以前に符号化されたＢフレームに関連するフレーム差を含む蓄積されたフレーム差を有する請求項１記載の方法。
7. 前記輝度値の差の比は、選択されたビデオフレームとこのビデオフレームより時間的に先行して隣接する先行ビデオフレームとの第１の差と、選択されたビデオフレームとこのビデオフレームに対して時間的に後続して隣接する後続ビデオフレームとの第２の差とに基づいている、請求項１記載の方法。
8. 前記メトリックは式
   Ｍ＝（γ _Ｃ ／γ _Ｐ ）＋λ（２λ＋１）
   で表され、
   ここで、γ _Ｃ は選択されたビデオフレームとその前後にそれぞれ隣接する先行ビデオフレームおよび後続ビデオフレームとの間の輝度値の差の比であり、γ _Ｐ は前記選択されたビデオフレームとそれに隣接する先行ビデオフレームの輝度値の差の比であり、λは前記選択されたビデオフレームとそれに隣接する先行ビデオフレームの輝度のヒストグラムの差である、請求項１記載の方法。
9. ビデオフレームを符号化する装置であって、
   メトリックモジュールと決定モジュールとを有するプロセッサを具備し、
   前記メトリックモジュールは、選択されたビデオフレームと少なくとも１つの隣接するフレームとの間の差を示す少なくとも１つのメトリックを判断し、前記メトリックの判断は選択されたビデオフレームとその前後にそれぞれ隣接する先行ビデオフレームおよび後続ビデオフレームとの間の輝度値の差の比に基づくとともに、選択されたビデオフレームと前記先行ビデオフレームとの間の輝度ヒストグラム差とに基づいて行なわれ、
   前記決定モジュールは、前記判断されたメトリックに基づいて、前記選択されたビデオフレームに符号化方法を適応割り当てし、この適応割り当てされた符号化方法は、
   前記判断されたメトリックがシーンの変化を示す第１の閾値よりも大きいときに選択されたビデオフレームをイントラフレーム予測符号化（Ｉ）のフレームタイプのものとして符号化することと、
   前記判断されたメトリックが前記第１の閾値よりも小さい第２の閾値よりも大きいときは選択されたビデオフレームを単一方向性のインターフレーム予測符号化（Ｐ）のフレームタイプのものとして符号化することと、
   前記判断されたメトリックが前記第２の閾値よりも小さい第３の閾値よりも大きいときは選択されたビデオフレームを双方向性のインターフレーム予測符号化（Ｂ）のフレームタイプのものとして符号化すること、
   とを含む、装置。
10. 前記割り当てられた符号化方法は、選択されたフレームの符号化をスキップすることを含む請求項９記載の装置。
11. 前記選択されたフレームがＩフレームタイプのものとして符号化されるとき、前記メトリックモジュールは前記判断されたメトリックをゼロに設定する、請求項９記載の装置。
12. 前記決定モジュールは、前記第３の閾値が前記判断されたメトリックよりも大きいとき、前記選択されたフレームの符号化をスキップする請求項９記載の装置。
13. 前記判断されたメトリックは以前に符号化されたＢフレームに関連するフレーム差を含む蓄積されたフレーム差を有する請求項９記載の装置。
14. 前記メトリックモジュールは、前記輝度値の差の比を、前記選択されたビデオフレームとこのビデオフレームより時間的に先行して隣接する先行ビデオフレームとの第１の差と、前記選択されたビデオフレームとこのビデオフレームに対して時間的に後続して隣接する後続ビデオフレームとの第２の差とに基づいて決定する、請求項９記載の装置。
15. 前記メトリックは式
    Ｍ＝（γ _Ｃ ／γ _Ｐ ）＋λ（２λ＋１）
    で表され、
    ここで、γ _Ｃ は選択されたビデオフレームとその前後にそれぞれ隣接する先行ビデオフレームおよび後続ビデオフレームとの間の輝度値の差の比であり、γ _Ｐ は前記選択されたビデオフレームとそれに隣接する先行ビデオフレームの輝度値の差の比であり、λは前記選択されたビデオフレームとそれに隣接する先行ビデオフレームの輝度のヒストグラムの差のである、請求項９記載の装置。
16. ビデオフレームを符号化する装置であって、
    選択されたビデオフレームと少なくとも１つの隣接するフレームとの間の差を示す少なくとも１つのメトリックを判断する手段、このメトリックは選択されたビデオフレームとその前後にそれぞれ隣接する先行ビデオフレームおよび後続ビデオフレームとの間の輝度値の差の比に基づくとともに、選択されたビデオフレームと前記先行ビデオフレームとの間の輝度ヒストグラム差とに基づいて判断される、と、
    前記判断されたメトリックに基づいて、前記選択されたビデオフレームに符号化方法を適応割り当てする手段とを具備し、この適応割り当てする手段は、
    前記判断されたメトリックがシーンの変化を示す第１の閾値よりも大きいときに選択されたビデオフレームをイントラフレーム予測符号化（Ｉ）のフレームタイプのものとして符号化するための手段と、
    前記判断されたメトリックが前記第１の閾値よりも小さい第２の閾値よりも大きいときは選択されたビデオフレームを単一方向性のインターフレーム予測符号化（Ｐ）のフレームタイプのものとして符号化するための手段と、
    前記判断されたメトリックが前記第２の閾値よりも小さい第３の閾値よりも大きいときは選択されたビデオフレームを双方向性のインターフレーム予測符号化（Ｂ）のフレームタイプのものとして符号化するための手段と、
    を含む、装置。
17. 前記符号化方法を適応割り当てするための手段は、選択されたフレームの符号化をスキップする手段を含む請求項１６記載の装置。
18. 前記判断されたメトリックは、前記選択されたフレームがＩフレームタイプとして符号化されるときはゼロに設定される請求項１６記載の装置。
19. 前記第１の閾値、第２の閾値、第３の閾値のうちの少なくとも一つは、シミュレーションによって決定される請求項１６記載の装置。
20. 前記符号化方法を適応割り当てするための手段は更に、前記第３の閾値が前記判断されたメトリックよりも大きいときに前記選択されたフレームの符号化をスキップするための手段を含む請求項１６記載の装置。
21. 前記判断されたメトリックは、以前に符号化されたＢフレームに関連するフレーム差を含む蓄積されたフレーム差を有する請求項１６記載の装置。
22. 前記輝度値の差の比は、前記選択されたビデオフレームとこのビデオフレームより時間的に先行している隣接するビデオフレームとの第１の差に基づくとともに、前記選択されたビデオフレームとこのビデオフレームに対して時間的に後続する隣接するビデオフレームとの第２の差に基づいている、請求項１６記載の装置。
23. 前記メトリックは式
    Ｍ＝（γ _Ｃ ／γ _Ｐ ）＋λ（２λ＋１）
    で表され、
    ここで、γ _Ｃ は選択されたビデオフレームとその前後にそれぞれ隣接する先行ビデオフレームおよび後続ビデオフレームとの間の輝度値の差の比であり、γ _Ｐ は前記選択されたビデオフレームとそれに隣接する先行ビデオフレームの輝度値の差の比であり、λは前記選択されたビデオフレームとそれに隣接する先行ビデオフレームの輝度のヒストグラムの差である、請求項１６記載の装置。
24. ビデオフレームを符号化する命令を含む機械読み出し可能媒体であって、前記命令は、実行されると、前記機械に、
    選択されたフレームとこれに隣接するフレームとの間の差を示す少なくとも１つのメトリックを判断させ、前記メトリックは選択されたビデオフレームとその前後にそれぞれ隣接する先行ビデオフレームおよび後続ビデオフレームとの間の輝度値の差の比および、前記選択されたビデオフレームとそれに隣接する先行ビデオフレームとの間の輝度のヒストグラムの差に基づいて判断され、
    前記判断されたメトリックに基づいて、前記選択されたビデオフレームに符号化方法を適応割り当てさせ、この適応割り当てされる符号化方法は、
    前記判断されたメトリックがシーンの変化を示す第１の閾値よりも大きいときに選択されたビデオフレームをイントラフレーム予測符号化（Ｉ）のフレームタイプのものとして符号化することと、
    前記判断されたメトリックが前記第１の閾値よりも小さい第２の閾値よりも大きいときは選択されたビデオフレームを単一方向性のインターフレーム予測符号化（Ｐ）のフレームタイプのものとして符号化することと、
    前記判断されたメトリックが前記第２の閾値よりも小さい第３の閾値よりも大きいときは選択されたビデオフレームを双方向性のインターフレーム予測符号化（Ｂ）のフレームタイプのものとして符号化することとを含む、
    機械読み出し可能媒体。
25. ビデオ符号化プロセッサであって、このプロセッサは、
    選択されたフレームとこれに隣接するフレームとの間の差を示す少なくとも１つのメトリックを判断する構成、前記メトリックは選択されたビデオフレームとその前後にそれぞれ隣接する先行ビデオフレームおよび後続ビデオフレームとの間の輝度値の差の比および、前記選択されたビデオフレームとそれに隣接する先行ビデオフレームとの間の輝度のヒストグラムの差に基づいて判断される、と、
    前記判断されたメトリックに基づいて、前記選択されたビデオフレームに符号化方法を適応割り当てる構成とを具備し、この適応割り当てされる符号化方法は、
    前記判断されたメトリックがシーンの変化を示す第１の閾値よりも大きいときに選択されたビデオフレームをイントラフレーム予測符号化（Ｉ）のフレームタイプのものとして符号化することと、
    前記判断されたメトリックが前記第１の閾値よりも小さい第２の閾値よりも大きいときは選択されたビデオフレームを単一方向性のインターフレーム予測符号化（Ｐ）のフレームタイプのものとして符号化することと、
    前記判断されたメトリックが前記第２の閾値よりも小さい第３の閾値よりも大きいときは選択されたビデオフレームを双方向性のインターフレーム予測符号化（Ｂ）のフレームタイプのものとして符号化することとを含む、
    ビデオ符号化プロセッサ。

Images