JP6207116B2 - 監視ビデオをエンコードするための方法及び装置 - Google Patents

Description

本発明は、一般にビデオ符号化技術に関し、より具体的には、監視アプリケーションのような、低アクティビティのアプリケーションのためのビデオ符号化技術に関する。

ビデオ監視カメラは、警備及び交通モニタリングなどの多くのアプリケーションにおいて使用が増えている。ほとんどのアプリケーションにおいて、典型的にはアナログカメラが用いられている。アナログカメラは、非圧縮ビデオ画像を生成する。一方、デジタルカメラは、例えば、Ｍｏｔｉｏｎ ＪＰＥＧ（Ｍ−ＪＰＥＧ）又はＨ．２６４符号化標準を用いた圧縮信号を生成する。Ｍｏｔｉｏｎ ＪＰＥＧ符号化標準の場合、例えば、デジタルビデオシーケンスの各ビデオフレーム又はインターレース・フィールドは、ＪＰＥＧ画像として個別に圧縮される。

監視アプリケーションでは、典型的には、キャプチャされたビデオ画像を格納する必要がある。格納すべきビデオ画像は大量なので、ストレージのコストが重要な検討事項となる。従って、効率的なビデオ圧縮スキームは、いずれのビデオ・ストレージ・システムでも重要な構成要素である。Ｍｏｔｉｏｎ ＪＰＥＧ符号化標準の場合、各画像は、イントラフレーム符号化と呼ばれる技術を用いて、他の画像から独立して符号化される。イントラフレーム符号化の場合、圧縮技術は、現フレーム内に含まれる情報に対してのみ実行される（ビデオシーケンス内のその他のフレームに対して実行されることはない）。イントラフレーム符号化では、ビデオシーンの中のいずれの画像にも直接アクセスすることができるので、画像の編集といった後処理が容易になる。しかしながら、イントラフレーム符号化は、予測符号化又はインター符号化よりも多くのビットを使用する。

ＭＰＥＧ符号化のようなインターフレーム符号化の場合、ビデオ圧縮ストリームは、１つ又は複数の近隣フレームに関して表される。インターフレーム予測は、近隣フレーム間の時間的冗長性を活用し、それによって、より高い圧縮率を提供する。ＭＰＥＧ及びＨ．２６４などの既存のビデオ符号化技術は、本来、放送及びＤＶＤアプリケーションのために開発されたものであり、周知のグループ・オブ・ピクチャ（ＧＯＰ）技術を利用する。

ＧＯＰ技術は、各イントラフレーム間のフレームの最大数を、１５フレーム毎というように指定する。イントラ符号化フレームは、放送アプリケーションにおける迅速なチャネル変更並びにＤＶＤアプリケーションにおける早送り及び巻き戻し検索のために必要とされる、エントリ・ポイントを提供する。各イントラフレーム間のフレームの最大数は、モニタされたシーンにおけるアクティビティのレベルが実のところイントラフレームを必要とするかどうかということを考慮にいれることなく、イントラ符号化フレームを周期的にエンコードする既存のビデオ符号化技術を要求する。従って、インターフレーム符号化であっても、連続したピクチャにおける高い時間的相関は完全には利用されず、結果的に圧縮性能が低下する。

「Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ−Ｇｅｎｅｒｉｃ Ｃｏｄｉｎｇ ｏｆ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅｓ ａｎｄ Ａｓｓｏｃｉａｔｅｄ Ａｕｄｉｏ Ｉｎｆｏｒｍａｔｉｏｎ」（動画信号及び付随する音響信号のはん用符号化） ＩＳＯ／ＩＥＣ１３８１８−２

しかしながら、監視アプリケーションを含む多くのアプリケーションにおいては、モニタされるシーンのアクティビティは小さいことが多い。従って、監視ビデオ、並びに高速の編集及びチャネル切り替えを必ずしも必要としない低アクティビティ・アプリケーションに由来するビデオの符号化及び圧縮のための改善された技術が必要とされている。連続したインター符号化フレームの最大数を有する固定ＧＯＰ構造又は適応ＧＯＰ構造を必要としない、ビデオ符号化のための改善された技術が更に必要とされている。

一般に、監視ビデオのようなビデオをエンコードするための方法及び装置が提供される。本発明の一態様によれば、ビデオフレームにおけるアクティビティのレベルを１つ又は複数の隣接フレームに対して評価することと、評価が１つ又は複数の所定のインター符号化基準を満たす場合にインター符号化技術を用いてビデオフレームをエンコードすることであって、インター符号化技術がグループ・オブ・ピクチャ制約条件なしでビデオフレームに適用される、エンコードすることと、評価が１つ又は複数の所定のイントラ符号化基準を満たす場合にイントラ符号化技術を用いてビデオフレームをエンコードすることによって、ビデオフレームをエンコードするための方法が提供される。

評価ステップは、例えば、ビデオフレームと１つ又は複数の近隣フレームとの間の差分が所定の閾値を上回るかどうかを判定することを含むことができる。１つの実施において、評価ステップは、２つのフレーム間の画素差分を合計し、その合計を所定の閾値と比較することによって、ビデオフレームにおけるアクティビティを評価する。例えば、アクティビティのレベルは、差分閾値化、動き推定及び動き補償のうちの１つ又は複数を用いて評価することができる。所定のインター符号化基準及びイントラ符号化基準は、例えば、差分が所定の基準を満たすかどうかということを含むものとすることができる。本明細書で用いられる場合、「差分閾値化」という用語は、差分値の集合全体にわたる関数として計算される値が特定の閾値を上回るか否かを検査することを示すものとする。

ビデオフレームにおける予測可能なアクティビティが所定の基準を満たす場合、動き推定付きインター符号化技術を用いてビデオフレームをエンコードすることができる。ビデオフレームにおける予測可能なアクティビティが所定の基準を満たさない場合、イントラ符号化技術を用いてビデオフレームをエンコードすることができる。ビデオフレームにおける予測可能なアクティビティは、前フレームと動き補償された入力フレームとの間の画素差分を合計することによって評価することができる。

本発明の別の態様によれば、ビデオフレームにおけるアクティビティのレベルを１つ又は複数の近隣フレームに対して評価することと、評価が１つ又は複数の所定のインター符号化基準を満たす場合にインター符号化技術を用いてビデオフレームをエンコードすることと、評価されたアクティビティのレベルが所定の閾値を上回る場合にのみ、イントラ符号化技術を用いてビデオフレームをエンコードすることによって、ビデオフレームをエンコードするための方法が提供される。

本発明のより完全な理解、並びに本発明の更なる特徴及び利点は、以下の詳細な説明及び図面を参照することによって得られるであろう。

周知のグループ・オブ・ピクチャ（ＧＯＰ）技術を用いる、ビデオを符号化するための従来のＭ−ＪＰＥＧ技術を示す。 本発明の実施形態による、低アクティビティ画像を符号化するための符号化プロセスの例示的な実施を説明するフローチャートである。 本発明の代替的な実施形態による、低アクティビティ画像を符号化するための符号化プロセスの例示的な実施を説明するフローチャートである。 本発明の１つ又は複数の態様及び／又は要素を実施することができるコンピュータ・システムを示す。

本発明は、監視ビデオ、並びに頻繁な編集及び／又は高速のチャネル切り替えを必要としないその他の低アクティビティ・アプリケーションに由来するビデオの符号化及び圧縮のための改善された技術を提供する。本発明は、低アクティビティ期間中に記録されたビデオシーケンスをより効率的に圧縮して、ストレージのコストを著しく節約することができることを認識する。本発明は、従来技術の方法よりも効率的に時間的相関を利用することができる、監視アプリケーションのビデオ符号化のための方法及びシステムを提供する。開示されるビデオ符号化技術は、エンコーダ出力のビットレート、ひいてはストレージ・サイズを著しく削減する。

グループ・オブ・ピクチャ技術
図１は、周知のグループ・オブ・ピクチャ（ＧＯＰ）技術を用いた、ビデオを符号化するための従来のＭ−ＪＰＥＧ技術を示す。図１に示されるように、ＧＯＰ構造１１０は、イントラフレーム及びインターフレームが配置される順序を指定する。ＧＯＰ１１０は、符号化されたビデオストリーム１００内の一群の連続した画像１２０−１乃至１２０−Ｎである。各々の符号化されたビデオストリーム１００は、連続したＧＯＰ１１０から成る。例示的なグループ・オブ・ピクチャ技術のより詳細な考察については、例えば、引用によりここに組み込まれる非特許文献１を参照されたい。

図１に示されるように、例示的なＧＯＰ１１０は、以下の画像タイプを含む。即ち、
Ｉ − Ｉ画像又はＩフレーム（イントラ符号化画像）−符号化されたビデオフレームを表し、且つ他の画像タイプから独立した参照画像。Ｉフレームは、完全な画像を含み、画像を再構成するためにいかなる付加的な情報も必要としない。各ＧＯＰ１１０は、Ｉ画像から始まる。
Ｐ − Ｐ画像又はＰフレーム（予測符号化画像）−先行のＩフレーム又はＰフレームからの動き補償された差分情報を含む画像。
Ｂ − Ｂ画像又はＢフレーム（両方向予測符号化画像）−ＧＯＰ１１０内の先行及び後続のＩフレーム又はＰフレームからの差分情報を含む画像。

一般に、あるＧＯＰ構造１１０内の誤りが次のＧＯＰ内へと伝搬することは、次のＩフレームによって防止される。また、ビデオストリーム内のＩフレームの数が増加すると、ストリームを編集する能力、及びこのストリームに切り替わる能力が増す。しかしながら、Ｉフレームの数が増加すると、ストリームのサイズが増大する。帯域幅及びディスク空間を節約するために、多くのアプリケーションは、ＧＯＰ１１０当たりＩフレームを１つだけ使用する。

Ｐフレームと同様に、Ｂフレームも、予測を行うために予測補正を記述する動きベクトル及び変換係数を必要とする。大きな伝搬誤差を回避するために、Ｂフレームは、いかなる種類の予測を行うための参照としても用いられない。

低アクティビティ画像シーケンスの改善された符号化
上述のように、監視アプリケーションのような多くのアプリケーションにおいては、かなり長期間にわたってアクティビティを無視できることが多い。例えば、夜間においては、監視アプリケーションによってモニタされるシーンは静止したままであることが多い。監視カメラによってモニタされたシーンが静止したままであり、数秒間、さらには数分間もの間隔をおいた２つのフレームが実質的に同一であることがある。本発明の一態様によれば、アクティビティが無視できる期間については、イントラ符号化フレームを規則的に挿入するのではなく、可能であるときにはいつでもインターフレーム符号化を用いてビデオソースが圧縮される。この方式で、多数の不必要なイントラ符号化フレームが回避され、帯域幅及びストレージ利用率はより効率的になる。

１つの例示的な実施において、本発明は以下のステップを含む。即ち、
１．次のビデオフレーム（ピクチャ）を符号化する前に、そのフレームが１つ又は複数の近隣参照（イン・タイム）フレームとの有意な差分を含むかどうかを判定する（近隣参照フレームは、イン・タイムに直に隣接している必要はないことが注目される）。参照フレームは、上記のようにＩフレーム又はＰフレームのいずれかである。
２．１つ又は複数の近隣参照フレームとの有意な差分がないと判定された場合に、現フレームをインター符号化を用いてエンコードし、そのエンコーディング方法がスキップ・モードを備えるならば、スキップ・モードを用いてフレームをエンコードすることを随意に含む。
３．有意な差分がある場合にのみ、現フレームをイントラ符号化フレームとしてエンコードする。

図２は、本発明の実施形態による、低アクティビティ画像を符号化するための符号化プロセス２００の例示的な実施を説明するフローチャートである。図２に示されるように、符号化プロセス２００は、カメラからビデオ画像を受信し、ステップ２１０において、受信ビデオが圧縮されているかどうかを判定する検査を最初に行う。ステップ２１０において受信ビデオが圧縮されていると判定された場合には、受信ビデオは、ステップ２１５においてデコードされ、ステップ２２０においてフレーム・バッファ内に格納される。

ステップ２３０において、フレームにおけるアクティビティが所定の閾値を上回るかどうかを判定する検査が行われる。１つの例示的な実施においては、ステップ２３０において動き推定（ＭＥ）及び動き補償フレーム差分（ＭＣＦＤ）を用いて、現フレームが隣接する参照フレームと有意に異なるかどうかを判定する。隣接する参照フレームは、ＭＣＦＤを最小化するものであれば、１つ若しくは複数の前フレーム、又は１つ若しくは複数の将来フレーム、又は１つ若しくは複数の前フレーム及び将来フレームの両方のいずれであってもよい。

ステップ２３０においてフレームにおけるアクティビティが所定の閾値を上回らないと判定された場合には、受信ビデオはステップ２３５において動き推定及び／又は補償なしのインター符号化を用いて符号化され、次にプログラムの制御は後述のステップ２６０に進む。

しかしながら、ステップ２３０においてフレームにおけるアクティビティが所定の閾値を上回ると判定された場合には、ステップ２４０においてアクティビティ分析が行われる。次に、ステップ２４５において、フレームにおけるアクティビティが予測可能であるかどうかを判定する検査が行われる。予測可能性は、例えば、動き推定プロシージャを実行することによって評価することができ、動き推定プロシージャは、典型的には、動き補償のために用いられる動きベクトルの集合、並びに残存予測誤差の尺度を生成する。それゆえ、動き推定装置は、予測可能性評価装置として用いることができる。予測技術は、差分閾値化、並びに動き推定及び動き補償を含む。

ステップ２４５において、フレームにおけるアクティビティが予測可能であると判定された場合には、受信ビデオは、ステップ２５０において動き推定及び予測付きのインター符号化を用いて符号化され、次にプログラムの制御は後述のステップ２６０に進む。しかしながら、ステップ２４５においてフレームにおけるアクティビティが予測可能ではないと判定された場合には、受信ビデオは、プログラムの制御がステップ２６０に進む前に、ステップ２５５においてイントラ符号化を用いて符号化される。エンコードされたビットストリームは、ステップ２６０において格納される。

図３は、本発明の代替的な実施形態による、低アクティビティ画像を符号化するための符号化プロセス３００の例示的な実施を説明するフローチャートである。図３に示されるように、符号化プロセス３００は、カメラからビデオ画像を受信し、ステップ３１０において、受信ビデオが圧縮されているかどうかを判定する検査を最初に行う。ステップ３１０において受信ビデオが圧縮されていると判定された場合には、受信ビデオはステップ３１５においてデコードされ、ステップ３２０においてフレーム・バッファ内に格納される。

ステップ３３０において、２つのフレーム（ｎ）と（ｎ−１）との間の画素差分Ｆを合計し、その合計を閾値Ｔと比較することによって、入力フレームのアクティビティを評価する検査が行われる。ステップ３３０においてフレームのアクティビティが閾値を上回らないと判定された場合には、受信ビデオはステップ３４０において動き推定及び／又は動き補償なしのインター符号化を用いて符号化され、次にプログラムの制御は後述のステップ３７０に進む。しかしながら、ステップ３３０においてフレームのアクティビティが閾値を上回ると判定された場合には、ステップ３４５において動き推定分析が行われ、フレームにおけるアクティビティを評価する。

ステップ３５０において、前フレームと動き補償された入力フレームとの間の画素差分を合計することによって、アクティビティの予測可能性を評価する検査が行われる。この合計が閾値を下回る場合には、フレームは予測可能であると見なされ、そうでない場合には、フレームは予測可能であると見なされない。

ステップ３５０において、フレームにおけるアクティビティが予測可能であると判定された場合には、受信ビデオは、ステップ３５５において動き推定及び予測付きのインター符号化を用いて符号化され、次にプログラムの制御は後述のステップ３７０に進む。しかしながら、ステップ３５０においてフレームにおけるアクティビティが予測可能ではないと判定された場合には、受信ビデオは、プログラムの制御がステップ３７０に進む前に、ステップ３６０においてイントラ符号化を用いて符号化される。エンコードされたビットストリームは、ステップ３７０において格納される。

例示的なシステム及び製品の詳細
当業者により認識されるように、本発明の態様は、システム、方法又はコンピュータ・プログラムとして具体化することができる。従って、本発明の態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）、又はソフトウェアの態様とハードウェアの態様とを組み合わせた実施形態の形態をとることができ、これらはすべて本明細書において一般的に「回路」、「モジュール」若しくは「システム」と呼ばれることがある。さらに、本発明の態様は、具体化されたコンピュータ可読プログラム・コードをその中に有する１つ又は複数のコンピュータ可読媒体内に具体化されたコンピュータ・プログラムの形態をとることができる。

本発明の１つ若しくは複数の実施形態又はその要素は、メモリと、メモリに結合され、例示的な方法ステップを行うように動作する少なくとも１つのプロセッサとを含む装置の形態で実装することができる。

１つ又は複数の実施形態は、汎用コンピュータ又はワークステーション上で実行されるソフトウェアを利用することができる。図４は、本発明の１つ又は複数の態様及び／又は要素を実装するのに有用であり得るコンピュータ・システム４００を示す。図４を参照すると、そのような実装は、例えば、プロセッサ４０２と、メモリ４０４と、例えばディスプレイ４０６及びキーボード４０８によって形成される入力／出力インターフェースとを用いることができる。本明細書で用いられる「プロセッサ」という用語は、あらゆる処理デバイス、例えば、ＣＰＵ（中央処理ユニット）及び／又は他の形態の処理回路を含む処理デバイスを含むことを意図する。さらに、「プロセッサ」という用語は、１つよりも多くの個別のプロセッサを指すことができる。「メモリ」という用語は、例えば、ＲＡＭ（ランダム・アクセス・メモリ）、ＲＯＭ（読み取り専用メモリ）、固定メモリ・デバイス（例えば、ハード・ドライブ）、取り外し可能なメモリ・デバイス（例えば、ディスケット）、フラッシュ・メモリ等のような、プロセッサ又はＣＰＵに関連付けられたメモリを含むことを意図する。さらに、本明細書で用いられる「入力／出力インターフェース」という語句は、例えば、処理ユニットにデータを入力するための１つ又は複数の機構（例えば、マウス）、並びに、処理ユニットに関連付けられた結果を提供するための１つ又は複数の機構（例えば、プリンタ）を含むことを意図する。プロセッサ４０２、メモリ４０４、並びにディスプレイ４０６及びキーボード４０８のような入力／出力インターフェースは、例えばバス４１０を介して、データ処理ユニット４１２の一部として相互接続することができる。例えばバス４１０を介した適切な相互接続を、コンピュータ・ネットワークとのインターフェースを提供することができるネットワーク・カードのようなネットワーク・インターフェース４１４に対して、及び媒体４１８とのインターフェースを提供することができるディスケット又はＣＤ−ＲＯＭドライブのような媒体インターフェース４１６に対して設けることもできる。

アナログビデオフィードのようなアナログ入力を受信し、且つそれをデジタル化するために、アナログ−デジタル変換器４２０を設けることができる。このような変換器をシステム・バス４１０と相互接続させることができる。

従って、本発明の方法をここで説明されたように行うための命令又はコードを含むコンピュータ・ソフトウェアを、１つ又は複数の関連付けられたメモリ・デバイス（例えば、ＲＯＭ、固定又は取り外し可能なメモリ）内に格納し、利用準備ができたときに一部又は全部を（例えば、ＲＡＭ内に）ロードし、ＣＰＵによって実施することができる。このようなソフトウェアは、ファームウェア、常駐ソフトウェア、マイクロコード等を含むことができるがこれらに限定されない。

プログラム・コードを格納及び／又は実行するのに適したデータ処理システムは、システム・バス４１０を通じてメモリ要素４０４に直接又は間接的に結合された少なくとも１つのプロセッサ４０２を含む。メモリ要素は、プログラム・コードの実際の実施中に用いられるローカルメモリ、大容量記憶装置、及び、実施中に大容量記憶装置からコードを読み出さなければならない回数を減らすために少なくとも幾つかのプログラム・コードの一時的なストレージを提供するキャッシュ・メモリを含むことができる。

入力／出力デバイス即ちＩ／Ｏデバイス（キーボード４０８、ディスプレイ４０６、ポインティング・デバイス等を含むがこれらに限定されない）は、直接（例えばバス４１０を介して）システムに結合することもでき、又は介在するＩ／Ｏコントローラ（明確にするために省略）を通じてシステムに結合することもできる。

ネットワーク・インターフェース４１４のようなネットワーク・アダプタをシステムに結合させて、データ処理システムが、介在する私設ネットワーク又は公衆ネットワークを通じて他のデータ処理システム又は遠隔プリンタ若しくはストレージ・デバイスに結合できるようにすることもできる。モデム、ケーブル・モデム及びイーサネット・カードは、現在入手可能なネットワーク・アダプタのタイプのうちのほんの数例である。

特許請求の範囲を含めた本明細書で用いられる場合、「サーバ」は、サーバ・プログラムを実行する物理的データ処理システム（例えば、図４に示されるようなシステム４１２）を含む。そのような物理的サーバは、ディスプレイ及びキーボードを含む場合も、含まない場合もあることが理解されよう。

上記のように、本発明の態様は、具体化されたコンピュータ可読プログラム・コードをその中に有する１つ又は複数のコンピュータ可読媒体内に具体化されたコンピュータ・プログラムの形態をとることができる。１つ又は複数のコンピュータ可読媒体のあらゆる組み合わせを用いることができる。コンピュータ可読媒体は、コンピュータ可読信号媒体であってもよく、又はコンピュータ可読ストレージ媒体であってもよい。コンピュータ可読ストレージ媒体は、例えば、電子的、磁気的、光学的、電磁的、赤外線若しくは半導体のシステム、装置若しくはデバイス、又はそれらのいずれかの適切な組み合わせとすることができるがこれらに限定されない。媒体ブロック４１８は、非限定的な例である。コンピュータ可読ストレージ媒体のより具体的な例（非網羅的なリスト）は、以下もの、即ち、１つ又は複数のワイヤを有する電気的接続、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、光ファイバ、ポータブル・コンパクト・ディスク型読み取り専用メモリ（ＣＤ−ＲＯＭ）、光ストレージ・デバイス、磁気ストレージ・デバイス、又はそれらのいずれかの適切な組み合わせを含む。本文書の文脈において、コンピュータ可読ストレージ媒体は、命令実行システム、装置若しくはデバイスによって用いられるプログラム又はそれらに関連して用いられるプログラムを収容又は格納することができる、いずれかの有形媒体とすることができる。

コンピュータ可読信号媒体は、具体化されたコンピュータ可読プログラム・コードを例えばベースバンド内に又は搬送波の一部としてその中に有する、伝搬データ信号を含むことができる。このような伝搬信号は、電磁的形態、光学的形態又はこれらのいずれかの適切な組み合わせを含む種々の形態のうちのいずれの形態をとることもできるが、それらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読ストレージ媒体ではなく、且つ、命令実行システム、装置若しくはデバイスによって用いられるプログラム又はそれらに関連して用いられるプログラムを伝達、伝搬又伝送することができる、いずれかのコンピュータ可読媒体とすることができる。

コンピュータ可読媒体上に具体化されたプログラム・コードは、無線、有線、光ファイバケーブル、ＲＦ等、又はこれらのいずれかの適切な組み合わせを含むがそれらに限定されない、いずれかの適切な媒体を用いて送信することができる。

本発明の態様に関する動作を遂行するためのコンピュータ・プログラム・コードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋等のようなオブジェクト配向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語を含む、１つ又は複数のプログラミング言語のいずれかの組み合わせで記述することができる。プログラム・コードは、独立したソフトウェア・パッケージとして、全体がユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は全体が遠隔コンピュータ又はサーバ上で実行される場合もある。一番最後のシナリオの場合、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）又は広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある（例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて）。

本発明の態様は、以下、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラムのフローチャート図及び／又はブロック図を参照しながら説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータ・プログラム命令によって実施することができることが理解される。これらのコンピュータ・プログラム命令を、機械を製造するために汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに提供し、これにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令がフローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実施するための手段を作り出すようにさせることができる。

これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、これにより、そのコンピュータ可読媒体内に格納された命令がフローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実施する命令を含む製品を製造するようにさせることもできる。

コンピュータ・プログラム命令をコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能装置又は他のデバイス上で実行させて、コンピュータ実施プロセスを生成し、これにより、コンピュータ又は他のプログラム可能装置上で実行される命令がフローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実施するためのプロセスを提供するようにさせることもできる。

図面内のフローチャート及びブロック図は、本発明の種々の実施形態によるシステム、方法及びコンピュータ・プログラムの可能な実装のアーキテクチャ、機能及び動作を示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理関数を実施するための１つ又は複数の実行可能な命令を含むモジュール、セグメント又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に記された機能は、図面内に記された順序とは異なる順序で行われることもあることにも留意されたい。例えば、連続して示された２つのブロックが実際には実質的に同時に実行されることもあり、又は、それらのブロックは、関与する機能に応じて、ときには逆順で実行されることもある。ブロック図及び／又はフローチャート図の各ブロック、並びにブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定された機能又は動作を実行する専用ハードウェアベースのシステム、又は専用ハードウェアとコンピュータ命令との組み合わせによって実装することができることにも留意されたい。

本明細書において説明された方法ステップは、例えば、本明細書において説明されるように、そのようなステップを実行するようにプログラムされた汎用コンピュータ、又はそのようなステップを実行するためのハードウェアと連携させることができる。さらに、例えばデータ・ストリームを取得すること及びストリームをエンコードすることを含む、本明細書において説明された方法ステップは、カメラ又はマイクロフォンのような、データ・ストリームがそこから取得される物理センサと連携させることもできる。

本明細書において説明された方法はいずれも、コンピュータ可読ストレージ媒体上に具体化される別個のソフトウェア・モジュールを含むシステムを提供する付加的なステップを含むことができることに留意されたい。それゆえ、方法ステップは、上述のように、１つ又は複数のハードウェア・プロセッサ４０２上で実行されるシステムの別個のソフトウェア・モジュール及び／又はサブ・モジュールを用いて遂行することができる。場合によっては、本明細書において説明された１つ又は複数の機能を実施するために、特化されたハードウェアを用いることができる。さらに、コンピュータ・プログラムは、別個のソフトウェア・モジュールを備えたシステムの提供を含めた本明細書において説明される１つ又は複数の方法ステップを遂行するために実装されるように適合されたコードを有する、コンピュータ可読ストレージ媒体を含むことができる。

いずれにせよ、本明細書において例示されたコンポーネントは、ハードウェア、ソフトウェア、又はそれらの組み合わせ、例えば、特定用途向け集積回路（ＡＳＩＣＳ）、機能回路、関連付けられたメモリを有する１つ又は複数の適切にプログラムされた汎用デジタル・コンピュータ等の様々な形態で実装することができることを理解されたい。本明細書において提供された本発明の教示が与えられれば、当業者は、本発明のコンポーネントの他の実装を企図することができる。

本明細書において用いられる用語は、特定の実施形態を説明することのみを目的とし、本発明を限定することを意図していない。本明細書で用いられる場合、単数形の「１つの（ａ、ａｎ）」及び「その（ｔｈｅ）」は、文脈が明確に他の場合を指示していない限り、複数形をも含むことを意図している。「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、本明細書において用いられる場合、述べられた特徴、整数、ステップ、動作、要素及び／又はコンポーネントの存在を特定するが、１つ又は複数の他の特徴、整数、ステップ、操作、要素、コンポーネント及び／又はそれらの群の存在又は付加を排除するものではないこともさらに理解されよう。

下記の特許請求の範囲における全ての機能付き手段（ミーンズ・プラス・ファンクション）又は機能付き工程（ステップ・プラス・ファンクション）の対応する構造、材料、動作及び均等物は、具体的に請求される他の請求要素と組み合わされて本機能を実施するためのいずれかの構造、材料又は動作を含むことを意図している。本発明の記載は、例示及び説明の目的で提示されたが、網羅的であることを意図するものでも、開示された形態の発明に限定することを意図するものでもない。当業者であれば、本発明の範囲及び真意から逸脱することなく、多くの修正及び変形が明らかであろう。実施形態は、本発明の原理及び実際の適用を最も良く説明し、且つ、その他の当業者が企図される特定の使用に適した種々の修正を伴う種々の実施形態について本発明を理解できるように、選択され、説明された。

１００：符号化されたビデオストリーム
１１０：ＧＯＰ構造
１２０：画像
２００、３００：符号化プロセス
４００：コンピュータ・システム
４１０：バス
４１２：データ処理ユニット
４１４：ネットワーク・インターフェース

Claims (5)

1. ビデオフレームをエンコードするための方法であって、
   ビデオフレームにおけるアクティビティのレベルを１つ又は複数の近隣フレームに対して評価するステップであって、前記ビデオフレームと前記１つ又は複数の近隣フレームとの間の差分が所定の閾値を上回るかどうかを判定することを含む、評価するステップと、
   前記アクティビティのレベルが所定の閾値を越えない場合に、動き推定及び／又は動き補償なしのインター符号化技術を用いて前記ビデオフレームをエンコードするステップであって、前記インター符号化技術が連続するインター符号化フレームの最大数を含むグループ・オブ・ピクチャ制約条件なしで前記ビデオフレームに適用される、エンコードするステップと、
   前記アクティビティのレベルが所定の閾値を越える場合に、前記ビデオフレームにおけるアクティビティが予測可能であるか否かを判定するステップと、
   前記ビデオフレームにおけるアクティビティが予測可能である場合に、動き推定及び／又は動き補償付きのインター符号化技術を前記グループ・オブ・ピクチャ制約条件なしで前記ビデオフレームに適用して前記ビデオフレームをエンコードするステップと、
   前記ビデオフレームにおけるアクティビティが予測可能でない場合に、イントラ符号化技術を用いて前記ビデオフレームをエンコードするステップと、を含む方法。
2. ビデオフレームをエンコードするための方法であって、
   ビデオフレームにおけるアクティビティのレベルを１つ又は複数の近隣フレームに対して評価するステップであって、２つのフレーム間の画素差分を合計し、前記合計を所定の閾値と比較することによって、前記ビデオフレームにおけるアクティビティを評価することを含む、評価するステップと、
   前記アクティビティのレベルが所定の閾値を越えない場合に、動き推定及び／又は動き補償なしのインター符号化技術を用いて前記ビデオフレームをエンコードするステップであって、前記インター符号化技術が連続するインター符号化フレームの最大数を含むグループ・オブ・ピクチャ制約条件なしで前記ビデオフレームに適用される、エンコードするステップと、
   前記アクティビティのレベルが所定の閾値を越える場合に、前記ビデオフレームにおけるアクティビティが予測可能であるか否かを判定するステップと、
   前記ビデオフレームにおけるアクティビティが予測可能である場合に、動き推定及び／又は動き補償付きのインター符号化技術を前記グループ・オブ・ピクチャ制約条件なしで前記ビデオフレームに適用して前記ビデオフレームをエンコードするステップと、
   前記ビデオフレームにおけるアクティビティが予測可能でない場合に、イントラ符号化技術を用いて前記ビデオフレームをエンコードするステップと、を含む方法。
3. 前記ビデオフレームにおけるアクティビティが予測可能であるか否かを判定するステップが、動き補償のために用いられる動きベクトルの集合及び残存予測誤差の尺度を生成することを含む動き推定プロシージャを実行するステップを含む、請求項１または２に記載の方法。
4. ビデオフレームをエンコードするためのコンピュータ・プログラムであって、
   前記コンピュータ・プログラムは、コンピュータによって実行されるコンピュータ可読プログラム・コードを有し、前記コンピュータ可読プログラム・コードが、
   ビデオフレームにおけるアクティビティのレベルを１つ又は複数の近隣フレームに対して評価するように構成されたコンピュータ可読プログラム・コードであって、前記評価が前記ビデオフレームと前記１つ又は複数の近隣フレームとの間の差分が所定の閾値を上回るかどうかを判定することを含む、コンピュータ可読プログラム・コードと、
   前記アクティビティのレベルが所定の閾値を越えない場合に、動き推定及び／又は動き補償なしのインター符号化技術を用いて前記ビデオフレームをエンコードするように構成されたコン ピュータ可読プログラム・コードであって、前記インター符号化技術が連続するインター符号化フレームの最大数を含むグループ・オブ・ピクチャ制約条件なしで前記ビデオフレームに適用される、コンピュータ可読プログラム・コードと、
   前記アクティビティのレベルが所定の閾値を越える場合に、前記ビデオフレームにおけるアクティビティが予測可能であるか否かを判定するように構成されたコンピュータ可読プログラム・コードと、
   前記ビデオフレームにおけるアクティビティが予測可能である場合に、動き推定及び／又は動き補償付きのインター符号化技術を前記グループ・オブ・ピクチャ制約条件なしで前記ビデオフレームに適用して前記ビデオフレームをエンコードするように構成されたコンピュータ可読プログラム・コードと、
   前記ビデオフレームにおけるアクティビティが予測可能でない場合に、イントラ符号化技術を用いて前記ビデオフレームをエンコードするように構成されたコンピュータ可読プログラム・コードと、を含むコンピュータ・プログラム。
5. ビデオフレームをエンコードするための装置であって、
   メモリと、
   前記メモリに結合された少なくとも１つのプロセッサとを含み、前記少なくとも１つのプロセッサが、
   ビデオフレームにおけるアクティビティのレベルを１つ又は複数の近隣フレームに対して評価し、当該評価が前記ビデオフレームと前記１つ又は複数の近隣フレームとの間の差分が所定の閾値を上回るかどうかを判定することを含み、
   前記アクティビティのレベルが所定の閾値を越えない場合に、動き推定及び／又は動き補償なしのインター符号化技術を用いて前記ビデオフレームをエンコードし、前記インター符号化技術が連続するインター符号化フレームの最大数を含むグループ・オブ・ピクチャ制約条件なしで前記ビデオフレームに適用され、
   前記アクティビティのレベルが所定の閾値を越える場合に、前記ビデオフレームにおけるアクティビティが予測可能であるか否かを判定し、
   前記ビデオフレームにおけるアクティビティが予測可能である場合に、動き推定及び／又は動き補償付きのインター符号化技術を前記グループ・オブ・ピクチャ制約条件なしで前記ビデオフレームに適用して前記ビデオフレームをエンコードし、
   前記ビデオフレームにおけるアクティビティが予測可能でない場合に、イントラ符号化技術を用いて前記ビデオフレームをエンコードする、装置。

Images