JP7309478B2

JP7309478B2 - オーバーレイを伴うビデオを符号化するための方法およびシステム

Info

Publication number: JP7309478B2
Application number: JP2019118456A
Authority: JP
Inventors: アレクサンデルトーレソン，
Original assignee: アクシスアーベー
Priority date: 2018-07-02
Filing date: 2019-06-26
Publication date: 2023-07-18
Anticipated expiration: 2039-06-26
Also published as: TWI771590B; US20200007883A1; US11070833B2; JP2020025251A; KR20200003715A; TW202013972A; CN110677672B; CN110677672A; EP3591972A1

Description

本発明はビデオ符号化の分野に関し、より詳細には、１つまたは複数のオーバーレイを有するビデオを符号化することに関する。

ビデオを表示するとき、多くの場合、オーバーレイをビデオに対して適用することが望ましい。たとえば、監視シナリオでは、ビデオがいつキャプチャされたかを示すタイムスタンプを有することが有用である。いくつかの異なるカメラからのビデオが、制御センターなど、１つのロケーションにおいて閲覧され得る場合、オペレータは、たとえば、「カメラ５」または「ローディングドック（Ｌｏａｄｉｎｇｄｏｃｋ）」を指示する、ラベルが表示される場合、特定のビデオシーケンスがどこでキャプチャされたかをより容易に位置特定し得る。ビデオ分析がビデオに対して実行される場合、イベントのインジケータが、オーバーレイの形式で適用され得る。一例として、オブジェクト検出アルゴリズムが人間を検出した場合、その人間を囲むバウンディングボックスが、オーバーレイとしてビデオに対して適用され得る。ロゴタイプの形式でのオーバーレイが、ブロードキャスティングにおいて広く使用され、監視など、他の適用例においても使用され得る。そのようなロゴタイプは、しばしば、静的であるが、たとえば、キャプチャされたシーンが静的である場合でも、ビデオストリームが依然としてライブであることを指示するために、動的であり得る。同様に、サブタイトルが、オーバーレイとして適用され得る。オーバーレイの別の適用例は、あるビデオストリームが別のビデオストリームの前に表示される、ピクチャインピクチャである。

オーバーレイは、異なるやり方でビデオに適用され得る。１つの共通の手法は、オーバーレイが適用されるべきであるピクセルロケーションにおいて、キャプチャされたビデオのピクセルデータをオーバーレイのピクセルデータと置き換えることである。これは、それらのピクセルロケーションにおける元のピクセルデータが失われることを意味する。

ブロードキャスティングでは、フィルムまたはＴＶショーなど、元のビデオシーケンスは、通常、たとえば、テレビ局ロゴタイプによって後で覆われるエリアが重要でないようなやり方でキャプチャされるので、オーバーレイの適用は通常、問題がない。ビデオシーケンスはまた、概して、オーバーレイなしに制作会社から入手可能である。監視など、他の適用例では、シーン中のイベントはほとんど筋書きがなく、興味深い詳細またはオブジェクトが、オーバーレイによって覆われることになるエリアに出現し得る。時々、これは、オペレータにとって単に厄介なことになるが、科学捜査使用の場合、これは重大であり得る。

この問題の１つの解決策は、オーバーレイを伴うビデオシーケンスとオーバーレイを伴わないビデオシーケンスの両方を送信および記憶することである。しかしながら、十分な画像品質が維持されるべきである場合、送信帯域幅が、このことを実現不可能にし得る。さらに、同じビデオシーケンスの２つのバージョンの記憶は、記憶容量に関する要件を増加させ、記憶容量は、しばしば、監視またはモニタリングシステムのコストの大部分を担う。

それゆえに、オーバーレイを伴うビデオを符号化するための改善された方法およびシステムが必要である。

本発明の目的は、オーバーレイによって覆われたビデオデータにアクセスすることを可能にする、ビデオを符号化する方法を提供することである。

本発明の目的は、許容できる画像品質を維持しながら、帯域幅および記憶域要件を制限することを可能にする、オーバーレイを伴うビデオを符号化する方法を提供することでもある。

本発明の別の目的は、符号化されたビデオの科学捜査使用性を改善する、オーバーレイを伴うビデオを符号化するためのシステムを提供することである。

また別の目的は、送信帯域幅または記憶容量の必要を過度に増加させることなしに、有用なビデオの提供を可能にする符号化システムを提供することである。

第１の態様によれば、これらおよび他の目的は、ビデオデータを符号化する方法によって、全体的にまたは少なくとも部分的に達成され、本方法は、第１の入力画像フレームと第２の入力画像フレームとを含む画像シーケンスを受信することと、画像シーケンスに適用されるべきオーバーレイを受信することであって、オーバーレイが、ピクチャ要素と、ピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレーム中に配置するための空間座標とを含む、オーバーレイを受信することと、空間座標に従ってピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレームに追加し、それにより、第１の生成された画像フレームと第２の生成された画像フレームとを含むオーバーレイされた画像シーケンスを生成することと、オーバーレイを伴わない出力画像フレームと、オーバーレイを伴う対応する出力画像フレームとを含んでいるビデオストリームを符号化することとを含み、第１の入力画像フレームは、第１の出力画像フレームを形成するためにイントラフレーム（ｉｎｔｒａ－ｆｒａｍｅ）として符号化され、第２の入力画像フレームは、第２の出力画像フレームを形成するために第１の出力画像フレームを参照してインターフレーム（ｉｎｔｅｒ－ｆｒａｍｅ）として符号化され、第１の生成された画像フレームは、第１のオーバーレイされた出力画像フレームを形成するために第１の出力画像フレームを参照してインターフレームとして符号化され、第２の生成された画像フレームは、第２のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、第２の生成された画像フレームの第１の部分は、第１のオーバーレイされた出力画像フレームを参照して符号化され、第２の生成された画像フレームの第２の部分は、第２の出力画像フレームを参照して符号化される。そのような方法は、効率的な様式でオーバーレイを伴うビデオおよびオーバーレイを伴わないビデオを送信することを可能にする。オーバーレイを伴うフレームまたはオーバーレイを伴わないフレームのどちらを参照フレームとして使用すべきかを賢明に選択することによって、オーバーレイを伴うビデオとオーバーレイを伴わないビデオが、単に、別個に符号化された場合に生じたであろうビットレート増加が抑制され得る。

第１の出力画像フレームおよび第１のオーバーレイされた出力画像フレームは両方とも、第１のピクチャ順序カウントで符号化され得、第２の出力画像フレームおよび第２のオーバーレイされた出力画像フレームは両方とも、第２のピクチャ順序カウントで符号化され得る。このようにして、デコーダは、出力画像フレームとオーバーレイされた出力画像フレームとが同じフレームのバージョンであることを通知され得る。

本方法のいくつかの変形態では、第１の出力画像フレームおよび第２の出力画像フレームは各々、非表示インジケータを伴って符号化される。このようにして、符号化されたシーケンスが、オーバーレイを伴わない画像フレームをも含んでいるにもかかわらず、オーバーレイを伴う画像フレームのみが表示されることになる。使用されるビデオ圧縮規格に応じて、非表示インジケータは、「表示無し（ｎｏｄｉｓｐｌａｙ）ＳＥＩメッセージ」または「非表示（ｎｏｎ－ｄｉｓｐｌａｙ）フラグ」など、異なる形式をとり得る。

第２の生成されたフレームの第１の部分は、ピクチャ要素の少なくとも一部分を含んでいることがある。したがって、第２の生成されたフレームのマクロブロックまたはピクセルグループが、オーバーレイが適用される場所に位置する場合、そのマクロブロックまたはピクセルグループは、第１のオーバーレイされた出力画像フレームを参照して符号化され得る。これは、特にオーバーレイが静的である場合、第１の生成されたフレームと第２の生成されたフレームとの間の時間的冗長性を利用する。第１の部分は、マクロブロックまたは対応するコーディングユニット、あるいはいくつかのそのようなマクロブロックまたはコーディングユニットであり得る。

第２の生成されたフレームの第２の部分は、オーバーレイの空間座標の外側にあり得る。したがって、第２の生成されたフレームのマクロブロックまたはピクセルグループが、オーバーレイが適用されない場所に位置する場合、そのマクロブロックまたはピクセルグループは、第２の出力画像フレームを参照して符号化され得る。これによって、符号化された第２の出力画像が使用され、符号化された第２の出力画像は、オーバーレイを除いて、第２のオーバーレイされた出力画像フレームと概して同一であり、したがって、符号化作業が繰り返される必要がないので、符号化が効率的であり得る。第１の部分について論じられたのと同様に、第２の部分は、マクロブロックまたは対応するコーディングユニット、あるいはいくつかのそのようなマクロブロックまたはコーディングユニットであり得る。

いくつかの変形態では、本方法は、画像シーケンスに適用されるべき追加のオーバーレイを受信することであって、追加のオーバーレイが、追加のピクチャ要素と、追加のピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレーム中に配置するための追加の空間座標とを含む、追加のオーバーレイを受信することと、追加の空間座標に従って追加のピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレームに追加し、それにより、第１の追加の生成された画像フレームと第２の追加の生成された画像フレームとを含む追加のオーバーレイされた画像シーケンスを生成することとをさらに含み、オーバーレイを伴わない出力画像フレームとオーバーレイを伴う対応する出力画像フレームとを含んでいるビデオストリームを符号化することが、さらに、追加のオーバーレイを伴う対応する出力画像フレームを符号化することを含み、第１の追加の生成された画像フレームは、第１の追加のオーバーレイされた出力画像フレームを形成するために第１の出力画像フレームを参照してインターフレームとして符号化され、第２の追加の生成された画像フレームは、第２の追加のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、第２の追加の生成された画像フレームの第１の部分は、第１の追加のオーバーレイされた出力画像フレームを参照して符号化され、第２の追加の生成された画像フレームの第２の部分は、第２の出力画像フレームを参照して符号化される。ビデオシーケンスに対して適用される任意の数の異なるオーバーレイを符号化するために、同じ原理が使用され得ることがわかり得る。

第２の追加の生成されたフレームの第１の部分は、追加のピクチャ要素の少なくとも一部分を含んでいることがある。ただ１つのオーバーレイを伴うビデオを符号化するときと同様に、これは、追加のオーバーレイの効率的な符号化を可能にする。

同様に、第２の追加の生成されたフレームの第２の部分は、追加のオーバーレイの追加の空間座標の外側にあり得る。１つのオーバーレイの場合のように、これは、符号化作業を制限することを可能にする。

第２の態様によれば、上述の目的は、ビデオ符号化システムによって、全体的にまたは少なくとも部分的に達成され、ビデオ符号化システムは、第１の入力画像フレームおよび第２の入力画像フレームを含む画像シーケンスを受信するように構成された画像受信機と、画像シーケンスに適用されるべきオーバーレイを受信するように構成されたオーバーレイ受信機であって、オーバーレイが、ピクチャ要素と、ピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレーム中に配置するための空間座標とを含む、オーバーレイ受信機と、空間座標に従ってピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレームに追加し、それにより、第１の生成された画像フレームと第２の生成された画像フレームとを含むオーバーレイされた画像シーケンスを生成するように構成されたオーバーレイアプリケータと、オーバーレイを伴わない出力画像フレームと、オーバーレイを伴う対応する出力画像フレームとを含んでいるビデオストリームを符号化するように構成されたエンコーダとを備え、第１の入力画像フレームは、第１の出力画像フレームを形成するためにイントラフレームとして符号化され、第２の入力画像フレームは、第２の出力画像フレームを形成するために第１の出力画像フレームを参照してインターフレームとして符号化され、第１の生成された画像フレームは、第１のオーバーレイされた出力画像フレームを形成するために第１の出力画像フレームを参照してインターフレームとして符号化され、第２の生成された画像フレームは、第２のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、第２の生成された画像フレームの第１の部分は、第１のオーバーレイされた出力画像フレームを参照して符号化され、第２の生成された画像フレームの第２の部分は、第２の出力画像フレームを参照して符号化される。そのようなシステムは、オーバーレイを伴う画像およびオーバーレイを伴わない画像のシーケンスを符号化することを可能にし、したがって、オーバーレイによって覆われた場合に失われるであろうビデオデータが、依然としてアクセス可能である。本システムは、有用な画像品質を維持しながら、帯域幅および記憶域要件の過度の増加を回避することをも可能にする。

ビデオ符号化システムのいくつかの実施形態では、エンコーダは、第１の出力画像フレームおよび第２の出力画像フレームの各々を非表示インジケータを伴って符号化するように構成される。したがって、符号化されたビデオシーケンスが、オーバーレイを伴う画像フレームならびにオーバーレイを伴わない画像フレームを含んでいる場合でも、オーバーレイを伴う画像フレームのみが表示される。オーバーレイを伴わない画像フレームは、後で使用するために、依然として記憶され得る。上述のように、非表示インジケータは、使用されるビデオ圧縮規格に応じて様々なやり方で実装され得る。

いくつかの実施形態では、オーバーレイ受信機は、画像シーケンスに適用されるべき追加のオーバーレイを受信するようにさらに構成され、追加のオーバーレイは、追加のピクチャ要素と、追加のピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレーム中に配置するための追加の空間座標とを含み、オーバーレイアプリケータは、追加の空間座標に従って追加のピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレームに追加し、それにより、第１の追加の生成された画像フレームと第２の追加の生成された画像フレームとを含む追加のオーバーレイされた画像シーケンスを生成するようにさらに構成され、エンコーダは、追加のオーバーレイを伴う対応する出力画像フレームをさらに含んでいるビデオストリームを符号化するように構成され、第１の追加の生成された画像フレームは、第１の追加のオーバーレイされた出力画像フレームを形成するために第１の出力画像フレームを参照してインターフレームとして符号化され、第２の追加の生成された画像フレームは、第２の追加のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、第２の追加の生成された画像フレームの第１の部分は、第１の追加のオーバーレイされた出力画像フレームを参照して符号化され、第２の追加の生成された画像フレームの第２の部分は、第２の出力画像フレームを参照して符号化される。そのようなシステムは、１つまたは複数の追加のオーバーレイを適用することが望まれるときにも、オーバーレイを伴うおよびオーバーレイを伴わないビデオシーケンスの効率的な符号化を可能にする。

第３の態様によれば、上述の目的は、第１の態様による符号化システムと、復号システムとを備えるビデオ送信システムによって、全体的にまたは少なくとも部分的に達成され、復号システムは、符号化システムから符号化されたビデオストリームを受信するように構成されたビデオ受信機と、符号化されたビデオストリームを復号するように構成されたデコーダとを備える。そのようなビデオ送信システムは、オーバーレイを伴うビデオデータおよびオーバーレイを伴わないビデオデータを効率的なやり方で送信する可能性を提供し、オーバーレイによって隠されるであろうビデオデータへのアクセスを可能にする。

デコーダは、エンコーダについて上述されたことと同様に、非表示インジケータを伴う第１の出力画像および第２の出力画像を復号するように構成され得る。

ビデオ送信システムは、トランスコーダをさらに備え得、トランスコーダはデコーダを備え、トランスコーダは、オーバーレイを伴わない復号された画像フレームを含んでいる第１の復号されたビデオストリームを形成するために、第１の出力画像フレームおよび第２の出力画像フレームを復号することと、オーバーレイを伴う復号された画像フレームを含んでいる第２の復号されたビデオストリームを形成するために、第１のオーバーレイされた出力画像フレームおよび第２のオーバーレイされた出力画像フレームを復号することとを行うように構成される。これは、オーバーレイを伴うビデオシーケンスとオーバーレイを伴わないビデオシーケンスを、別個に扱うことを可能にする。たとえば、オーバーレイを伴わない第１の復号されたビデオストリームは、可能な、後の科学捜査使用のために記憶され得、オーバーレイを伴う第２の復号されたビデオストリームは、たとえば、制御センターに送信され得、オペレータに表示され得る。いくつかのシナリオでは、第１の復号されたビデオストリームは、オーバーレイを伴わないビデオストリームを見る必要があるユーザに送信され得、第２の復号されたビデオストリームは、オーバーレイを伴うビデオストリームを見るべきであるユーザに送信され得る。

第４の態様によれば、上述の目的は、第２の態様による符号化システムを備えるカメラによって、全体的にまたは少なくとも部分的に達成される。

本発明の適用可能性のさらなる範囲は、以下の発明を実施するための形態から明らかになろう。しかしながら、本発明の範囲内の様々な変更および修正が、発明を実施するための形態から当業者に明らかになるので、発明を実施するための形態および具体的な例は、本発明の好ましい実施形態を示すが、例示として与えられるものにすぎないことを理解されたい。

それゆえに、説明されるデバイスおよび説明される方法は変わり得るので、本発明は、そのようなデバイスの具体的な構成要素部分、またはそのような方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明するためのものにすぎず、限定するものではないことも理解されたい。本明細書および添付の特許請求の範囲において使用される、冠詞「ａ」、「ａｎ」、「ｔｈｅ」、および「ｓａｉｄ」は、コンテキストが別段に明白に規定しない限り、要素のうちの１つまたは複数があることを意味するものとすることに留意されなければならない。したがって、たとえば、「１つの（ａｎ）オブジェクト」または「その（ｔｈｅ）オブジェクト」への言及は、数個のオブジェクトなどを含み得る。その上、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という単語は、他の要素またはステップを除外しない。

次に、例として、および添付の概略図を参照しながら、本発明がより詳細に説明される。

シーンの画像の図である。オーバーレイが適用された図１の画像の図である。入力画像フレームのシーケンスと、対応するオーバーレイされた画像シーケンスとの概略表現の図である。図３中の画像フレームに対応するオーバーレイを伴う出力画像フレームとオーバーレイを伴わない出力画像フレームとを含んでいる、符号化された画像ストリームの概略表現の図である。図２のオーバーレイされた画像の区分の例の図である。変形態による、ビデオを符号化する方法のフローチャートである。図６における方法の一部のフローチャートである。ビデオ符号化システムの一実施形態のブロック図である。図５の場合のようなビデオ符号化システムを有するカメラのブロック図である。ビデオ送信システムの一実施形態のブロック図である。

図１では、画像１が示されており、図２では、対応する画像１’が示されており、オーバーレイ１０が画像１’に適用されている。以下でさらに説明されるように、オーバーレイ１０は、ピクチャ要素１１と、ピクチャ要素１１が画像１’中のどこに適用されるべきであるかを指定する空間座標とを含む。ピクチャ要素１１は、テキストストリングなどのいくつかの異なるフォーマットで、ベクトルベースのフォーマットで、またはビットマップとして受信され得る。示された例では、オーバーレイ１０は静的であり、ピクチャ要素１１は、テキスト、「Ｃａｍ１」であり、オペレータに対して画像をキャプチャするカメラを識別する。さらに、この例では、追加のオーバーレイ２０もあり、追加のオーバーレイ２０は、追加のピクチャ要素２１と、画像１’中のどこに追加のピクチャ要素２１を適用するかを指定する追加の空間座標とを含む。追加のオーバーレイ２０は動的であり、追加のピクチャ要素２１は、画像１’がキャプチャされた時間を表示する。示されたオーバーレイの数は決して限定するものではないことと、本発明は１つまたは複数のオーバーレイとともに使用され得ることに、留意されたい。２つまたはそれ以上のオーバーレイの場合、それらのオーバーレイが静的なオーバーレイまたは動的なオーバーレイの任意の組合せであり得ることにも留意されたい。

以下では、少なくとも１つのオーバーレイを伴うビデオシーケンスの符号化が説明される。このコンテキストでは、オーバーレイを伴わない画像１は、第１の入力画像フレーム１と呼ばれ、オーバーレイを伴う対応する画像１’は、オーバーレイを第１の入力画像フレーム１に追加することによってオーバーレイを伴う画像１’が生成されるので、第１の生成された画像フレーム１’と呼ばれることになる。

図３は、第１の入力画像フレーム１と、第２の入力画像フレーム２と、第３の入力画像フレーム３とを含む画像のシーケンスを例示する。図６を参照すると、この画像シーケンスは、ステップＳ１において受信される。また、第１の生成された画像フレーム１’と、第２の生成された画像フレーム２’と、第３の生成された画像フレーム３’とを含む、オーバーレイを伴う画像の対応するシーケンスが示されている。オーバーレイ１０および追加のオーバーレイ２０は、ステップＳ２において受信される。

生成された画像フレーム１’、２’、３’は、空間座標および追加の空間座標によって規定されたロケーションにおいてピクチャ要素１１および追加のピクチャ要素２０を入力画像フレーム１、２、３に追加することによって、生成される。図６では、これは、ステップＳ３として指示されている。静的なオーバーレイ１０は、各生成された画像１’～３’中で同じであるが、動的なオーバーレイ２０は、画像キャプチャ中の時間の経過に従って、生成された画像ごとに変わる。

オーバーレイを伴うおよびオーバーレイを伴わないビデオシーケンスを送信および記憶することを可能にするために、ビデオシーケンスは、画像フレームを表すために必要とされるビット数を低減するために、符号化される。符号化は、様々なビデオ圧縮規格に従って、たとえば、Ｈ．２６４またはＨ．２６５規格に従って行われ得る。本発明によれば、符号化は、特に、オーバーレイを伴うビデオシーケンスの効率的な符号化を可能にし、オーバーレイを伴わないビデオシーケンスへのアクセスをも許可するように修正される。図６では、符号化は、ステップＳ４として指示されている。符号化のより詳細な例示のために、図７への参照が行われる。

図４中の画像フレーム間の矢印は、特定の画像フレーム１～３または生成された画像フレーム１’～３’を符号化するためにどの参照フレームが使用されるかを指示する。

次に、図３～図７を参照しながら、本発明による符号化の一例が説明される。図４は、図３に類似するが、符号化された画像フレームを示している。入力画像フレーム１～３および生成された画像フレーム１’～３’を符号化するとき、第１の入力画像フレーム１は、イントラフレームとして、すなわち他の画像フレームへの参照なしに符号化される（Ｓ４１）。この符号化されたフレームは、第１の出力画像フレーム１_Ｅと呼ばれることになる。これは、使用されたビデオ圧縮規格に従って通常行われるのと同じやり方で行われる。第１の生成された画像フレーム１’は、参照フレームとして第１の出力画像フレームの復号されたバージョンを用いてインターフレームとして符号化され（Ｓ４２）、第１のオーバーレイされた出力フレーム１’_Ｅを形成する。オーバーレイ１０および追加のオーバーレイ２０を除いて、第１の生成された画像フレーム１は、第１の入力画像フレームと同一である。したがって、オーバーレイのいずれをも含んでいない、第１の生成された画像フレーム１’の部分について、スキップブロックを使用してインターフレーム符号化が有利に行われ得、これは、符号化されたマクロブロックのデータが参照フレームからコピーされることを意味する。オーバーレイを含んでいる、第１の生成された画像１’の部分を、インターコーディング（ｉｎｔｅｒ－ｃｏｄｉｎｇ）を使用して、すなわちＰブロックとして符号化することも可能であるが、第１の入力画像フレームがオーバーレイを含んでいないので、オーバーレイのエリアおよび追加のオーバーレイのエリアにおいて、マクロブロックをイントラコーディング（ｉｎｔｒａ－ｃｏｄｉｎｇ）によって、すなわちＩブロックとして符号化することが、たいていの場合、より効率的であろう。第１の生成された画像フレームのインターフレーム符号化は、通常と同じやり方で行われる。

第２の入力画像フレーム２は、第１の出力画像フレーム１の復号されたバージョンを参照してインターフレームとして符号化され（Ｓ４３）、第２の出力画像フレーム２_Ｅを形成する。これも、圧縮規格について通常通り行われる。

第２の生成された画像フレーム２’は、インターフレームとして符号化され（Ｓ４４）、第２のオーバーレイされた出力フレーム２’_Ｅを形成する。第１の入力画像フレーム１および第２の入力画像フレーム２、および第１の生成された画像フレーム１’とは異なり、第２の生成された画像フレーム２’は、２つの参照フレームを使用して符号化される。参照フレームの選択は、第２の生成された画像フレーム２’の異なる部分について、異なる。図５を参照すると、第２の生成された入力フレーム２’は、２つの部分、すなわち、オーバーレイが位置する第１の部分Ａと、オーバーレイがない第２の部分Ｂとに分割される。分割は、様々なやり方で行われ得る。図５ａでは、第２の生成された画像フレーム２’は、単に２つに等分される。図５ｂでは、第１の部分Ａは、画像フレームの上部の細長い部分である。図５ｃでは、第１の部分Ａは、２つのエリア、すなわち、各オーバーレイを囲むエリアからなり、図５ｄでは、第１の部分Ａは、オーバーレイ１０の一部を含んでいるマクロブロックであり、第２の部分Ｂは、オーバーレイを含んでいないマクロブロックである。

以下では、第１の部分Ａが、オーバーレイ１０のエリア中のマクロブロックであり、第２の部分Ｂが、オーバーレイがない画像のエリア中の、すなわち、空間座標および追加の空間座標の外側のマクロブロックであることが仮定される。第１の部分Ａを符号化するとき、第１のオーバーレイされた出力フレーム１’_Ｅは、ステップＳ４４１において指示されているように、参照フレームとして使用される。第１の部分Ａは、オーバーレイ１０の少なくとも一部を含んでいるので、特に、オーバーレイ１０が静的である場合には、第１の部分Ａは、第２の出力画像フレーム２_Ｅよりも第１のオーバーレイされた出力フレーム１’_Ｅの対応する部分に類似する可能性がある。第１の入力画像フレーム１が第２の入力画像フレーム２とは大きく異なるように、シーン中に多くの動きがある場合、特に、第１の部分Ａの小さい部分のみがオーバーレイ１０によって覆われた場合には、参照フレームとして第２の出力画像フレーム２_Ｅを使用することがより効率的であり得る。これは、フレームごとに変わる多くのピクセルがあるので、追加のオーバーレイ２０など、オーバーレイが動的である場合の事例でもあり得る。したがって、第１の部分Ａがオーバーレイ１０によって部分的にのみ覆われた場合に選択が行われ得、したがって、第１のオーバーレイされた出力フレーム１’_Ｅであろうと第２の出力画像フレーム２_Ｅであろうと、最小ビットレートを生じる可能性が最も高い参照フレームが選択され得る。

第２のオーバーレイされた画像フレーム２’の第２の部分Ｂを符号化するとき、第２の出力画像フレーム２_Ｅが、ステップＳ４４２に指示されているように参照として使用される。第２の部分はオーバーレイ１０、２０の外側にあるので、第２の部分は、第２の出力画像フレーム２_Ｅの対応する部分と本質的に同一であるはずである。

符号化は、次いで、第３の入力画像フレーム３および第３の生成された画像フレーム３’について同じやり方で続く。したがって、第３の出力画像フレームは、参照フレームとして第２の出力画像フレーム２_Ｅを使用して、インターフレームとして符号化される。第３の生成された画像フレーム３’も、インターフレームとして符号化されるが、画像フレームの異なる部分について異なる参照フレームを用いる。第２のオーバーレイされた出力画像フレーム２’_Ｅは、オーバーレイ１０または追加のオーバーレイ２０の一部を含んでいる、第３の生成された画像フレームのマクロブロックを符号化するとき、参照として使用され、第３の出力画像フレーム３_Ｅは、オーバーレイ１０および追加のオーバーレイの外側に位置するマクロブロックを符号化するときに、参照フレームとして使用される。

符号化は、ピクチャグループ（ｇｒｏｕｐｏｆｐｉｃｔｕｒｅｓ）、手短に言えばＧＯＰの終端に達するまで、このように続く。ピクチャグループの長さは、ＧＯＰ長とも呼ばれ、これは、固定されるか、ユーザによって設定されるか、または動的に制御され得る。新しいＧＯＰが開始されるとき、符号化は、ステップＳ４１において指示されているように、イントラフレームからもう一度開始し、そのＧＯＰの終端に達するまで、ステップＳ４２、Ｓ４３、Ｓ４４、Ｓ４４１、およびＳ４４２におけるようにインターフレームが続く。

上記で説明された方法では、同じストリーム中のオーバーレイを伴う画像フレームおよびオーバーレイを伴わない画像フレームを符号化することが可能である。オーバーレイを伴う画像を符号化するための２つの異なる参照フレームの使用は、２つのバージョンの各画像フレームを符号化するために必要とされるビット数を制限する。示された例では、２つのオーバーレイがあるが、本方法は、１つ、または３つ以上のオーバーレイが使用される場合に、等しく適用可能である。

符号化されたビデオシーケンスが、たとえば、制御センターにおいてリアルタイムで表示されるべきであるとき、または記録から再生されるべきであるとき、所望の画像を表示するために異なる手段がとられ得る。たとえば、Ｈ．２６５規格は、非表示フラグのサポートを有する。これは、画像フレームが符号化されるとき、画像フレームが非表示フラグでマークされ得、適合デコーダがその画像フレームを復号するとき、適合デコーダが非表示フラグを読み取り、したがってその画像フレームが表示されないことを意味する。本発明がＨ．２６５コーデックにおいて実装される場合、この特徴は、オーバーレイされた出力画像フレームのみが、復号後に表示されることを確実にするために使用され得る。したがって、各出力画像フレーム１_Ｅ～３_Ｅは、非表示フラグを伴って符号化される。これによって、符号化および復号されたビデオシーケンスは、オーバーレイを伴う画像およびオーバーレイを伴わない画像を含んでいるが、オーバーレイを伴う画像のみが表示される。

非表示フラグをサポートしない、Ｈ．２６４など、ビデオ圧縮規格もある。そのような場合、出力画像フレーム１_Ｅ～３_Ｅが非表示フラグを伴って符号化された場合、規格Ｈ．２６４デコーダは、意図されたようにこれらを扱わない。したがって、非表示フラグを扱うようにプログラムされた、修正されたデコーダが使用される必要がある。

次に、図８を参照しながら、本発明の一実施形態による符号化システムが説明される。画像受信機８１を有する、符号化システム８０が示されている。画像受信機８１は、上記で説明されたように、第１の入力画像フレームと第２の入力画像フレームとを含む画像シーケンスを受信するように構成される。符号化システムは、オーバーレイ受信機８２とオーバーレイアプリケータ８３とをさらに備える。オーバーレイ受信機８２は、画像シーケンスに適用されるべきオーバーレイを受信するように構成され、オーバーレイは、ピクチャ要素と、ピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレーム中に配置するための空間座標とを含む。オーバーレイアプリケータ８３は、空間座標に従ってピクチャ要素を第１の入力画像フレームおよび第２の入力画像フレームに追加し、それにより、第１の生成された画像フレームと第２の生成された画像フレームとを含むオーバーレイされた画像シーケンスを生成するように構成される。ビデオ符号化システム８０はエンコーダ８４をも備え、エンコーダ８４は、オーバーレイを伴わない出力画像フレームと、オーバーレイを伴う対応する出力画像フレームとを含んでいるビデオストリームを符号化するように構成される。上記で説明されたように、符号化するとき、エンコーダは、第１の出力画像フレームを形成するためにイントラフレームとして第１の入力画像フレームを符号化することと、第２の出力画像フレームを形成するために第１の出力画像フレームを参照してインターフレームとして第２の入力画像フレームを符号化することと、第１のオーバーレイされた出力画像フレームを形成するために第１の出力画像フレームを参照してインターフレームとして第１の生成された画像フレームを符号化することと、第２のオーバーレイされた出力画像フレームを形成するためにインターフレームとして第２の生成された画像フレームを符号化することとを行うように構成され、第２の生成された画像フレームの第１の部分は、第１のオーバーレイされた出力画像フレームを参照して符号化され、第２の生成された画像フレームの第２の部分は、第２の出力画像フレームを参照して符号化される。ビデオ符号化システム８０は、上記で説明された本方法に従って動作され得、したがって、動作はここでさらに説明されない。

図９を参照すると、符号化システム８０は、カメラ９０に組み込まれ得る。カメラ９０は、レンズ９１と、画像をキャプチャするための画像センサー９２と、画像を処理するための画像プロセッサ９３とを有する。カメラ９０は他の構成要素も備え得るが、他の構成要素は本発明に関連しないので、他の構成要素は、図９に示されておらず、ここで説明されないことを諒解されたい。ビデオ符号化システム８０は、カメラに組み込まれる必要はなく、別個のユニットとして構成されるか、または別のデバイスに組み込まれ得ることに留意されたい。

図１０を参照すると、本発明の一実施形態による送信システム１００が説明される。ビデオ送信システム１００は、上記で説明されたビデオ符号化システム８０と、復号システム１０１とを備える。復号システム１０１は、符号化システム８０から、符号化されたビデオストリームを受信するように構成されたビデオ受信機１０２と、符号化されたビデオストリームを復号するように構成されたデコーダ１０３とを備える。

復号されたビデオシーケンスは、閲覧されるか、またはデコーダのロケーションに直接記憶され得る。符号化システム８０が、出力画像フレームを非表示フラグを伴って符号化したかどうかにかかわらず、デコーダは、非表示フラグを伴う出力画像フレームを復号するように構成され得る。

デコーダ１０３は、トランスコーダ１０４の一部であり得、トランスコーダ１０４は、オーバーレイを伴わない復号された画像フレームを含んでいる第１の復号されたビデオストリームを形成するために、第１の出力画像フレームおよび第２の出力画像フレームを復号し、オーバーレイを伴う復号された画像フレームを含んでいる第２の復号されたビデオストリームを形成するために、第１のオーバーレイされた出力画像フレームおよび第２のオーバーレイされた出力画像フレームを復号するように構成される。トランスコーダ１０４はリエンコーダ１０５をさらに備え、リエンコーダ１０５は、第１の復号されたビデオストリームおよび第２の復号されたビデオストリームの各々を別個に符号化し、第１の再符号化されたビデオストリームおよび第２の再符号化されたビデオストリームを形成するように構成される。たとえば、第１の再符号化されたビデオストリームは、記憶デバイス１０６に記憶され得、第２の再符号化されたビデオストリームは、たとえば、制御センターにおいて、ディスプレイ１０７上に表示され得る。ディスプレイ１０７は、ビデオ管理システムに接続され得る。図１０では、ビデオ送信システムの構成要素を接続するネットワーク１０８が示されている。これは、ローカルネットワークまたはワイドエリアネットワークであり得る。一例として、符号化システム８０は第１のロケーションに位置し得、符号化されたビデオストリームは、ネットワーク１０８を介してトランスコーダ１０４に送信され得る。トランスコーダ１０４は、第１のロケーションから離れた第２のロケーションに位置し得る。記憶デバイス１０６およびディスプレイ１０７は、トランスコーダ１０４とコロケートされるか、または第３のロケーションに位置し得る。さらに、記憶デバイス１０６とディスプレイ１０７とは、異なるロケーションに位置し得る。送信システム１００の異なるユーザが、ユーザに与えられたアクセス権に応じて、第１の復号または再符号化されたビデオストリームまたは第２の復号または再符号化されたビデオストリームへのアクセスを与えられ得る。たとえば、セキュリティセンターにおけるオペレータは、第２の復号または再符号化されたビデオストリームへのアクセスのみを有し得るが、警察官は、第１の復号または再符号化されたビデオストリームへのアクセスを有し得る。

当業者は、多くのやり方で上記で説明された実施形態を修正し、依然として、上記の実施形態に示されているような本発明の利点を使用することができることが諒解されよう。一例として、入力画像フレームは、可視光またはＩＲを採用するカメラ、サーマルカメラあるいはＴｏＦカメラなど、任意の種類のカメラを使用してキャプチャされていることがある。カメラはデジタルカメラであり得る。カメラは、デジタル化ユニットに接続されたアナログカメラであり得る。入力画像は、カメラから直接受信され得るか、または入力画像は、前にキャプチャされ、それらが符号化される前に記憶されていることがある。

出力画像フレームおよびオーバーレイされた出力画像フレームは連続的に番号を付けられ得、したがって、出力画像フレームは奇数を与えられ、オーバーレイされた出力画像フレームは偶数を与えられ、またはその逆もある。デコーダは、出力画像フレームまたはオーバーレイされた出力画像フレームのいずれかを示すために奇数番号のフレームのみまたは偶数番号のフレームのみを表示するように命令され得る。

本発明の方法は、プロセッサによって実行されるソフトウェアとして実装され得る。プロセッサは、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、集積回路中に実装されたカスタムメイドの処理デバイス、ＡＳＩＣ、ＦＰＧＡ、または個別構成要素を含む論理回路要素など、任意の種類のプロセッサであり得る。

符号化システムおよび送信システムは、ハードウェア、ファームウェア、またはソフトウェア、あるいはそれらの任意の組合せとして実装され得る。

したがって、本発明は、示された実施形態に限定されるべきでないが、添付の特許請求の範囲によってのみ定義されるべきである。

Claims

カメラ内で実行されるビデオデータを符号化する方法であって、
ビデオ符号化されていない第１の入力画像フレームとビデオ符号化されていない第２の入力画像フレームとを含む画像シーケンスを受信することと、
前記画像シーケンスに適用されるべきオーバーレイを受信することであって、前記オーバーレイが、ピクチャ要素と、前記ピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレーム中に配置するための空間座標とを含む、オーバーレイを受信することと、
前記空間座標に従って前記ピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレームに追加し、それにより、第１の生成された画像フレームと第２の生成された画像フレームとを含むオーバーレイされた画像シーケンスを生成することと、
オーバーレイを伴わない出力画像フレームと、オーバーレイを伴う対応する出力画像フレームとを含んでいるビデオストリームを符号化することと
を含み、
前記第１の入力画像フレームが、第１の出力画像フレームを形成するためにイントラフレームとして符号化され、
前記第２の入力画像フレームが、第２の出力画像フレームを形成するために前記第１の出力画像フレームを参照してインターフレームとして符号化され、
前記第１の生成された画像フレームが、第１のオーバーレイされた出力画像フレームを形成するために前記第１の出力画像フレームを参照してインターフレームとして符号化され、
前記第２の生成された画像フレームが、第２のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、前記第２の生成された画像フレームの第１の部分が、前記第１のオーバーレイされた出力画像フレームを参照して符号化され、前記第２の生成された画像フレームの第２の部分が、前記第２の出力画像フレームを参照して符号化され、それによって前記第１および第２のオーバーレイされた出力画像フレームにおいて前記オーバーレイによって覆われたビデオデータが、オーバーレイなしで前記出力画像フレームにおいてアクセス可能である、
方法。
前記第１の出力画像フレームおよび前記第２の出力画像フレームが各々、非表示インジケータを伴って符号化される、請求項１に記載の方法。
前記第２の生成された画像フレームの前記第１の部分が、前記ピクチャ要素の少なくとも一部分を含んでいる、請求項１に記載の方法。
前記第２の生成された画像フレームの前記第２の部分が、前記オーバーレイの前記空間座標の外側にある、請求項１に記載の方法。
前記画像シーケンスに適用されるべき追加のオーバーレイを受信することであって、前記追加のオーバーレイが、追加のピクチャ要素と、前記追加のピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレーム中に配置するための追加の空間座標とを含む、追加のオーバーレイを受信することと、
前記追加の空間座標に従って前記追加のピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレームに追加し、それにより、第１の追加の生成された画像フレームと第２の追加の生成された画像フレームとを含む追加のオーバーレイされた画像シーケンスを生成することと
をさらに含み、
オーバーレイを伴わない出力画像フレームと、オーバーレイを伴う対応する出力画像フレームとを含んでいるビデオストリームを符号化することが、さらに、追加のオーバーレイを伴う対応する出力画像フレームを符号化することを含み、
前記第１の追加の生成された画像フレームが、第１の追加のオーバーレイされた出力画像フレームを形成するために前記第１の出力画像フレームを参照してインターフレームとして符号化され、
前記第２の追加の生成された画像フレームが、第２の追加のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、前記第２の追加の生成された画像フレームの第１の部分が、前記第１の追加のオーバーレイされた出力画像フレームを参照して符号化され、前記第２の追加の生成された画像フレームの第２の部分が、前記第２の出力画像フレームを参照して符号化される、
請求項１に記載の方法。
前記第２の追加の生成された画像フレームの前記第１の部分が、前記追加のピクチャ要素の少なくとも一部分を含んでいる、請求項５に記載の方法。
前記第２の追加の生成された画像フレームの前記第２の部分が、前記追加のオーバーレイの前記追加の空間座標の外側にある、請求項６に記載の方法。
ビデオ符号化システムを備えるビデオカメラであって、前記ビデオ符号化システムは、
ビデオ符号化されていない第１の入力画像フレームとビデオ符号化されていない第２の入力画像フレームとを含む画像シーケンスを受信するように構成された画像受信機と、
前記画像シーケンスに適用されるべきオーバーレイを受信するように構成されたオーバーレイ受信機であって、前記オーバーレイが、ピクチャ要素と、前記ピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレーム中に配置するための空間座標とを含む、オーバーレイ受信機と、
前記空間座標に従って前記ピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレームに追加し、それにより、第１の生成された画像フレームと第２の生成された画像フレームとを含むオーバーレイされた画像シーケンスを生成するように構成されたオーバーレイアプリケータと、
オーバーレイを伴わない出力画像フレームと、オーバーレイを伴う対応する出力画像フレームとを含んでいるビデオストリームを符号化するように構成されたエンコーダと
を備え、
前記第１の入力画像フレームが、第１の出力画像フレームを形成するためにイントラフレームとして符号化され、
前記第２の入力画像フレームが、第２の出力画像フレームを形成するために前記第１の出力画像フレームを参照してインターフレームとして符号化され、
前記第１の生成された画像フレームが、第１のオーバーレイされた出力画像フレームを形成するために前記第１の出力画像フレームを参照してインターフレームとして符号化され、
前記第２の生成された画像フレームが、第２のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、前記第２の生成された画像フレームの第１の部分が、前記第１のオーバーレイされた出力画像フレームを参照して符号化され、前記第２の生成された画像フレームの第２の部分が、前記第２の出力画像フレームを参照して符号化され、それによって前記第１および第２のオーバーレイされた出力画像フレームにおいて前記オーバーレイによって覆われたビデオデータが、オーバーレイなしで前記出力画像フレームにおいてアクセス可能である、
ビデオカメラ。
前記エンコーダが、前記第１の出力画像フレームと前記第１のオーバーレイされた出力画像フレームとの両方を第１のピクチャ順序カウントで符号化することと、前記第２の出力画像フレームと前記第２のオーバーレイされた出力画像フレームとの両方を第２のピクチャ順序カウントで符号化することとを行うように構成された、請求項８に記載のビデオカメラ。
前記エンコーダが、前記第１の出力画像フレームおよび前記第２の出力画像フレームの各々を非表示インジケータを伴って符号化するように構成された、請求項８に記載のビデオカメラ。
前記オーバーレイ受信機が、前記画像シーケンスに適用されるべき追加のオーバーレイを受信するようにさらに構成され、前記追加のオーバーレイが、追加のピクチャ要素と、前記追加のピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレーム中に配置するための追加の空間座標とを含み、
前記オーバーレイアプリケータが、前記追加の空間座標に従って前記追加のピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレームに追加し、それにより、第１の追加の生成された画像フレームと第２の追加の生成された画像フレームとを含む追加のオーバーレイされた画像シーケンスを生成するようにさらに構成され、
前記エンコーダが、追加のオーバーレイを伴う対応する出力画像フレームをさらに含んでいる前記ビデオストリームを符号化するように構成され、
前記第１の追加の生成された画像フレームが、第１の追加のオーバーレイされた出力画像フレームを形成するために前記第１の出力画像フレームを参照してインターフレームとして符号化され、
前記第２の追加の生成された画像フレームが、第２の追加のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、前記第２の追加の生成された画像フレームの第１の部分が、前記第１の追加のオーバーレイされた出力画像フレームを参照して符号化され、前記第２の追加の生成された画像フレームの第２の部分が、前記第２の出力画像フレームを参照して符号化される、
請求項８に記載のビデオカメラ。
請求項８に記載のビデオ符号化システムと、復号システムとを備えるビデオ送信システムであって、前記復号システムが、
前記ビデオ符号化システムから符号化されたビデオストリームを受信するように構成されたビデオ受信機と、
前記符号化されたビデオストリームを復号するように構成されたデコーダと
を備える、
ビデオ送信システム。
前記デコーダが、非表示インジケータを伴う第１の出力画像および第２の出力画像を復号するように構成された、請求項１２に記載のビデオ送信システム。
トランスコーダをさらに備え、前記トランスコーダが前記デコーダを備え、前記トランスコーダが、
オーバーレイを伴わない復号された画像フレームを含んでいる第１の復号されたビデオストリームを形成するために、第１の出力画像フレームおよび第２の出力画像フレームを復号することと、
オーバーレイを伴う復号された画像フレームを含んでいる第２の復号されたビデオストリームを形成するために、第１のオーバーレイされた出力画像フレームおよび第２のオーバーレイされた出力画像フレームを復号することと
を行うように構成された、請求項１２に記載のビデオ送信システム。
符号化システムを含むカメラであって、前記符号化システムは、
ビデオ符号化されていない第１の入力画像フレームとビデオ符号化されていない第２の入力画像フレームとを含む画像シーケンスを受信するように構成された画像受信機と、
前記画像シーケンスに適用されるべきオーバーレイを受信するように構成されたオーバーレイ受信機であって、前記オーバーレイが、ピクチャ要素と、前記ピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレーム中に配置するための空間座標とを含む、オーバーレイ受信機と、
前記空間座標に従って前記ピクチャ要素を前記第１の入力画像フレームおよび前記第２の入力画像フレームに追加し、それにより、第１の生成された画像フレームと第２の生成された画像フレームとを含むオーバーレイされた画像シーケンスを生成するように構成されたオーバーレイアプリケータと、
オーバーレイを伴わない出力画像フレームと、オーバーレイを伴う対応する出力画像フレームとを含んでいるビデオストリームを符号化するように構成されたエンコーダと
を備え、
前記第１の入力画像フレームが、第１の出力画像フレームを形成するためにイントラフレームとして符号化され、
前記第２の入力画像フレームが、第２の出力画像フレームを形成するために前記第１の出力画像フレームを参照してインターフレームとして符号化され、
前記第１の生成された画像フレームが、第１のオーバーレイされた出力画像フレームを形成するために前記第１の出力画像フレームを参照してインターフレームとして符号化され、
前記第２の生成された画像フレームが、第２のオーバーレイされた出力画像フレームを形成するためにインターフレームとして符号化され、前記第２の生成された画像フレームの第１の部分が、前記第１のオーバーレイされた出力画像フレームを参照して符号化され、前記第２の生成された画像フレームの第２の部分が、前記第２の出力画像フレームを参照して符号化され、それによって前記第１および第２のオーバーレイされた出力画像フレームにおいて前記オーバーレイによって覆われたビデオデータが、オーバーレイなしで前記出力画像フレームにおいてアクセス可能である、カメラ。