JP6391549B2 - デジタル画像を符号化する方法、デジタル画像符号化システム、コンピュータ可読記憶媒体、及びカメラ - Google Patents

Description

本発明はデジタル画像処理の分野に関連し、特に、デジタル画像内の関連領域を特定する方法、デジタル画像の符号化方法、及び符号化システムに関する。

ネットワークカメラ監視システムなどのデジタルビデオシステムにおいて、ビデオシーケンスは様々なビデオ符号化方法を用いて伝送前に圧縮される。多くのデジタルビデオ符号化システムで、２つの主要なモード（イントラモード及びインターモード）が使用されて、一連のビデオフレームの複数のビデオフレームが圧縮される。イントラモードでは、予測、変換、及びエントロピー符号化を通じて、単一のフレームの所与のチャネル内のピクセルの空間的な冗長性を利用することによって、輝度チャネル及び色度チャネルが符号化される。符号化されたフレームはイントラフレームと称され、Ｉフレームとも称され得る。一方、インターモードは、別々のフレーム間の一時的な冗長性を利用し、選択されたピクセルブロックについて１つのフレームから別のフレームへのピクセルの動きを符号化することによって、一又は複数の先行のフレームからのフレーム部分を予測する、動き補償予測技術に依存する。符号化されたフレームはインターフレームと称され、デコードの順において先行するフレームを表し得るＰフレーム（前方向予測フレーム）、又は２つ以上の先行してデコードされるフレームを表し得るＢフレーム（両方向予測フレーム）とも称され、予測に用いられるフレームの任意の表示順序（ｄｉｓｐｌａｙ−ｏｒｄｅｒ）関係を有し得る。更に、符号化されたフレームは、ピクチャグループ（ｇｒｏｕｐｓ ｏｆ ｐｉｃｔｕｒｅｓ）（ＧＯＰ）にアレンジされ、ここで各ピクチャグループはＩフレームで始まり、後続するフレームはＰフレーム又はＢフレームである。一般的に、ピクチャグループ中のフレーム数はＧＯＰ長と称される。ＧＯＰ長は、ピクチャグループ中に１つのイントラフレームのみが存在しインターフレームが存在しないことを意味する１から、例えば、ピクチャグループ中に１つのイントラフレームが存在しこれに２５４のインターフレームが後続することを意味する２５５まで変化し得る。

符号化されたビデオシーケンスを受信する場所で、符号化されたフレームがデコードされる。ネットワークカメラ監視システムにおける課題は、符号化されたビデオの送信に利用可能なバンド幅である。このことは、特に多数のカメラを利用したシステムにおいて当てはまる。更に、この課題は、利用可能なバンド幅が小さい場合、例えばビデオシーケンスがモバイルデバイス（例えば、携帯電話、ＰＤＡ、又はタブレットコンピュータ）に送信される際に特に重要である。画像の記憶に関して、例えばカメラに内蔵されたＳＤカードに画像を記憶する際に、類似の問題が発生する。高画質な画像という利益と利用可能なバンド幅又は記憶域とを釣り合わせるよう、妥協が必要となる。カメラからの送信ビットレートを低下させるよう符号化を制御する幾つかの方法及びシステムが用いられてきた。一般的に、これらの既知の方法及びシステムは、ビットレート制限を適用し、カメラからの出力ビットレートが常にビットレート制限未満であるように符号化を制御する。この方式で、システム中のすべてのカメラがそれらカメラのビデオシーケンスを受信場所（例えば、コントロールセンターなど）へ送信するように、利用可能なバンド幅が十分であることを確実にし得、そのような受信場所では作業員がシステムカメラからのビデオを監視し、ビデオは後の利用のために記録され得る。しかしながら、ビットレート制限は、モニタされているシーンで何が起こっているかに関係なく、多くの細部を含む画像の大幅な圧縮を要求するので、すべてのカメラにビットレート制限を適用することにより望ましからぬ低画質がもたらされることがある。細部によっては、他の閲覧者には興味のないものであっても、受信する場所によっては閲覧者の興味の対象となることがあり得る。ところが、ビットレート制限を適用すると、多くの細部を伴う画像は制限を超過しないように大きく圧縮される必要があり、これにより低画質となる。

本発明の目的は、画像の関連領域を特定する方法を提供することにある。もう１つの目的は、注目している対象物の高画質画像を実現する、効率のよいデジタル画像圧縮を可能にすることである。

第１の態様によれば、これらの目的及び他の目的は、デジタル画像の関連領域を特定する方法によって、完全に又は少なくとも部分的に達成され、前記方法は、第１のデジタル画像のピクセルを表す情報を受信すること、ピクセルの各グループのグループ値を形成するため、前記第１の画像内の隣接するピクセルのグループに関する前記情報の合計、平均、中央値を算出すること、グループ値間の差分を算出すること、及び前記差分を所定の閾値と比較することを含む。前記差分が前記閾値に等しい又は前記閾値を上回る場合には、本方法は前記グループが関連領域内にあるものとして特定することを含み、前記差分が前記閾値を下回る場合には、本方法は前記グループが関連領域内にないものとして特定することを含む。このような方法により、画像内の関連領域と非関連領域とを区別することが可能となる。このような画像の区別又は細分化は、画像の符号化の制御のためなど、様々な目的に使用されてもよい。

関連領域は関連対象物を包含する領域であってもよく、関連領域は人、顔、動物、乗り物、ナンバープレート、窓、ドア、門などの対象物、又は人によって運ばれる対象物であってもよい。

本方法の１つの変形例では、前記ピクセルグループは、関連対象物を包含しない第１のデジタル画像の領域内で、グループ値間の前記閾値を下回る差分を生成するように適合される幾つかのピクセルを含む。

前記ピクセルグループの各々は、少なくとも２５６ピクセルを含み得る。これは１６×１６ピクセルグループであってもよく、このピクセルグループのサイズは、画像内の顔のサイズに対応し得る。

第１の画像のピクセルを表す情報は、輝度、光強度、カラー値、及びこれらのいずれかの分散に関するデータからなるグループの中の少なくとも１つであってもよい。分散は、例えば、標準偏差として表現され得る。

１つの変形例では、本方法は、第２のデジタル画像のピクセルを表す情報を受信すること、各ピクセルグループに対してグループ値を形成するため、前記第２の画像内の隣接するピクセルのグループに関する前記情報の合計、平均、又は中央値を算出すること、並びに、前記第１の画像及び前記第２の画像の対応するグループのグループ値を累積することを更に含み、前記累積したグループ値を用いて、グループ値間の差分を算出することが実行される。

第２の態様によれば、これらの目的及び他の目的は、デジタル画像の符号化の方法によって、完全に又は少なくとも部分的に達成され、第１の態様の方法を用いて関連領域を特定すること、関連領域の特定に基づいて各ピクセルグループに対する圧縮値を設定することを含み、関連領域内のブロックには第１の圧縮値が与えられ、関連領域外のブロックには第２の圧縮値が与えられ、前記第２の圧縮値は第１の圧縮値よりも低い画質をもたらす圧縮を表しており、第１の画像の符号化はピクセルグループに対する圧縮値設定を使用する。このような方法により、画像の非関連領域を表すために使用される幾つかのビットを低く抑え、画像の関連領域の高品質表示を実現することが可能である。圧縮値が割り当てられるブロックは、関連領域を特定するために用いられるピクセルグループと同一であることもあれば、同一でないこともある。このブロックはピクセルグループのサブグループであってもよい。

本方法の変形例によれば、第２の圧縮値を有するピクセルグループは、スキップブロックとして符号化される。この方式で、出力ビットレートが低減されることがある。

本方法は、第１の画像の符号化前に変換モジュール内で第１の画像を処理すること、及び第１の画像の符号化前に変換モジュール内で画像に対応するグループ値又は圧縮値を処理することを更に含み得る。変換モジュールは、ハードウェア支援変換モジュールであってよく、ときにはスケーラと称されることもある。変換モジュール又はスケーラは、サイズ変更、切取り、回転、モザイクの付加、又は電子画像安定化などの操作を行うことがある。

第３の態様によれば、圧縮値を用いて入力画像を処理するように構成された符号化モジュールと、第１のデジタル画像内のピクセルを表す情報を受信するように構成された受信モジュールと、各ピクセルグループのグループ値を形成するため前記第１の画像内の隣接ピクセルのグループに対する前記情報の合計、平均、又は中央値を算出するように構成されたグループ値モジュールと、グループ値間の差分を算出するように構成された差分算出モジュールと、前記差分を所定の閾値と比較するように構成された比較モジュールと、前記差分が前記閾値に等しいか上回る場合にはピクセルグループが関連領域内にあると特定し、前記差分が前記閾値を下回る場合には前記ピクセルグループが非関連領域内にあると特定するように構成された特定モジュールと、関連領域内のピクセルグループに第１の圧縮値が与えられ、非関連領域内のピクセルグループに第２の圧縮値が与えられ、前記第２の圧縮値は第１の圧縮値よりも低い画質をもたらす圧縮を表すように、関連領域の特定に基づいて各ピクセルグループに対して圧縮値を設定するように構成された圧縮値設定モジュールと、を備える入力画像に対応する画像データを符号化するためのデジタル画像符号化システムによって、上述の目的は完全に又は少なくとも部分的に達成される。このような符号化システムにより、モニタ中のシーンの注目している対象物の高画質を実現しつつ、出力ビットレートを低減することが可能になる。

第３の態様の符号化システムは、一般的に、第２の態様の方法と同じ方式で実施され得、その利点も付随する。

第４の態様によれば、第３の態様によるデジタル符号化システムを備えたカメラによって、上述の目的が完全に又は少なくとも部分的に達成される。

第５の態様によれば、プロセッサによって実行されると第１及び第２の態様による方法を遂行するように構成された指令を含むコンピュータ可読記憶媒体を含む、コンピュータプログラム製品によって、上述の目的が完全に又は少なくとも部分的に達成される。プロセッサは、処理能力を有する任意の種類のプロセッサであり得、例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、集積回路中に実装されるカスタム仕様の処理デバイス、ＡＳＩＣ、ＦＰＧＡ又はディスクリート素子を含む論理回路であり得る。

本発明の適用性のさらなる範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、当業者にとっては、本発明の範囲内の様々な変更及び修正がこの詳細な説明より明らかになるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも、例示的な形でのみ提示されることを理解されたい。

したがって、記載のデバイス及び記載の方法は異なる場合があるため、この発明は、記載のデバイスの特定の構成要素部品又は記載の方法の工程に限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のためにすぎず、限定的であることを意図しないことを更に理解されたい。明細書及び添付の特許請求の範囲で使用されるように、冠詞（「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」）は、文脈によって他のことが明らかに示されない限り、１つ又は複数の要素があることを意味していると意図されることに留意するべきである。それ故、例えば、「ａｎ ｏｂｊｅｃｔ」又は「ｔｈｅ ｏｂｊｅｃｔ」に対する言及は、幾つかのｏｂｊｅｃｔなどを含み得る。更に、「ｃｏｍｐｉｚｉｎｇ（備える、含む）」という言葉は、他の要素又は工程を排除しない。

本発明を、実施例を用い且つ添付の概略図を参照しながら、より詳細に説明する。

モニタされているシーンを示すデジタル画像の図である。 図１の画像の主要構造を示す図である。 図２の画像の部分の詳細な図である。 図２に示す画像のピクセルグループの図である。 本発明による方法の変形例を示すフロー図である。 図２のピクセルグループに対応して配置されたピクセルグループのグループ値の図である。 ピクセルグループに対応して配置された圧縮値の図である。 一実施形態による符号化システムの説明である。 符号化システムが統合されたカメラを示す。

図１は、モニタ中のシーンを描くデジタル画像１を表している。この画像１は、デジタル式監視カメラによって撮影されたビデオシーケンス中の一連の画像の１つである。図２では、幾つかのピクセル２からなる画像の主要な構成が図示されている。画像１は、例えば、幅１２８０ピクセル、高さ９６０ピクセルで、約１．３メガピクセル（ＭＰ）を有することがある。この画像１はＹＣｂＣｒ色空間で表現されており、ピクセル２の各々が輝度値Ｙ、青の色度値Ｃｂ、及び赤の色度値Ｃｒを有する。図２で、画像１の（図１のボックス３で概略的に示された）小さい部分が示されている。画像１のこの小さな部分は、幅４ピクセル、高さ４ピクセルである。図３のピクセル２の各々において、左上の角の数字はこのピクセルのＣｂ値を表し、右上の角の数字はＣｒ値を表し、底部の数字はＹ値を表す。

画像１が、表示されている監視対象シーンの画像を例えば作業者もしくは警備員が監視しているコントロールセンターへ送信される場合、画像は符号化されねばならない。この実施例で、Ｈ．２６４圧縮形式で動作するコーデックが用いられる。画像１を符号化する際、符号化された画像の送信に要するデータ量を制御するために、即ち出力ビットレートを制御するために、ＧＯＰ長及び圧縮値などのパラメータが制御され得る。Ｈ．２６４圧縮形式で、圧縮値は量子化パラメータ（ＱＰ）である。符号化される画像は、マクロブロック又はピクセルブロックと称される独立したブロックへと区分けされ、これらは個別に符号化される。このようにして、同一の画像中の種々のマクロブロックが、異なる圧縮値を割り当てられ得る。画像が符号化されるフレームレートもまた、出力ビットレートの制御のために制御され得る。送信に利用可能なバンド幅は、一般的に、許容可能なビットレートを制限する。複数のカメラを用いるシステムでは、及び、画像をユーザの携帯電話に送信する場合のようなバンド幅の小さいシステムでは、個別のカメラそれぞれからの許容可能なビットレート出力はかなり制限される。背景技術の段落で既に示したように、ビットレート制限の適用には大幅な圧縮及び／又は長いＧＯＰ長が要求され、結果として、画像の低下及び望ましくない量の符号化アーティファクトが生じ得る。

本発明によれば、これらの問題は画像１の関連領域を特定することによって解決される。関連領域は、関連対象物が存在する領域である。どのような対象物が関連対象物と判断されるかは、監視状況によって異なる。例えば、侵入者に対して建物の周囲が監視されている場合には、人間が関連対象物となる。別の例として、料金所ではナンバープレートが関連対象物となる。一般的に、関連対象物は、人、顔、動物、乗り物、ナンバープレート、窓、ドア、門などの対象物、人によって運ばれる対象物、絵画などの貴重品、除細動器や非常口の鍵などの重要機器であってもよい。

関連領域が特定されると、画像の種々のマクロブロックは、特定のマクロブロックが関連領域内又は非関連領域内にある場合に応じて、種々の圧縮値を用いて符号化されてもよい。非関連領域に高圧縮値を適用すると、符号化で細部は失われる。しかしながら、非関連領域内の細部は現在の監視の目的では重要でないため、このような細部の欠落は送信された画像の閲覧者には一般的に受け入れられる。例えば、侵入者に対して建物の周囲を監視している例に戻ると、建物周囲のフェンスの位置で動いている木の葉は重要ではないため、木を高精細で表示する必要はない。しかしながら、フェンスに近づく人は侵入者の可能性があるため、これらが人と認識し得るように、可能であれば特定し得るように、高精細でこれらを表示することは有用である。関連領域内で所望の画質を得るためには、関連領域内のマクロブロックに対して低圧縮値が使用される。

再度図１を参照すると、監視されているシーンには、空１０、芝生１１、小道１２及び家１３が含まれる。家１３には、壁１４、屋根１５、窓１６、及びドア１７がある。家１３の脇には、２本の木１８があり、ドア１７の前には人１９が立っている。画像の種々の部分で、含まれる細部の量は異なる。例えば、青空には細部はほとんど含まれていないが、曇り空には一般的に、青色又は灰色の背景に対してたくさんの白色または灰色が含まれている。他方、芝生１１には、草に関してたくさんの小さな細部があり、木１８も葉に関しては同様である。画像１で撮影されたシーンを監視するときには、通常であれば空１０、芝生１１、及び木１８に注目することはない。代わりに、窓１６及びドア１７に加えて、人１９に注目するが、注目すべき対象物が追加的に現れることもある。

本発明は、図１に示した画像１のように、画像の注目すべき部分すなわち関連部分は、注目しないでよい部分すなわち非関連部分とは異なる縮尺の細部を含むという認識に基づいており、更に注目すべき部分と注目しないでよい部分とを差別化する方法に基づいている。例えば、監視の目的が家の周囲の領域の人を特定することである場合には、人の顔、衣服など大きさの細部と同等の縮尺又はサイズを有する細部に注目すべきであるが、これに対して、青空は大きすぎ、葉は小さすぎる。このような細部の縮尺の区別は、画像の好適なサブ部分に関する細部の均一化に基づいている。人を特定するための監視を再度例に上げると、約２０×２０ピクセルのサイズを有する画像のサブ部分が選択される場合には、これは認識に必要となる顔のサイズに対応し得る。空１０の２０×２０ピクセルのサブ部分内には、ほとんど青いピクセルだけ、或いはほとんど白いピクセルだけがある可能性が高く、空を描写した隣接するサブ部分に対しても同様のことが真となる。芝生１１の２０×２０ピクセルのサブ部分内には、変化する緑の色調のピクセルがある可能性が高いが、このようなサブ部分の１つの平均的な緑色、或いは全ピクセルの合計は、芝生の隣接するサブ部分のそれと基本的に同じになる。人１９の顔は２０×２０ピクセルのサブ部分の大部分を占め、人１９の皮膚の色調は、人の背後のドア１７の描写部分の隣接するサブ部分の平均的な色とは異なる。したがって、色を平均する又は合計する画像のサブ部分の適切なサイズを選択すること、及びそのサブ部分を隣接部分と比較することによって、画像の関連領域は、その平均的な色又は色の合計が隣接部分の平均的な色又は色の合計と異なるサブ部分を包含する領域として特定されることがある。

下記で、図２から図７を参照して、本発明の方法の変形例がより詳細に説明される。既に述べたように、画像１は、幾つかのピクセル２、この例では１２８０×９６０ピクセルからなる。画像１はピクセルグループに分割されており（図５の工程Ｓ０１）、図４のａ）部分に示すように、この例では各グループ３０は１６×１６ピクセル、すなわち２５６ピクセルからなる。グループ３０内のピクセル２の各々について、ピクセル２を表す情報が受信される（図５の工程Ｓ０２）。この実施例では、表されている情報は輝度Ｙである。グループ３０内のすべてのピクセル２の輝度値の合計が算出され、グループ値Ｖを形成する（図５の工程Ｓ０３）。

ここで、Ｙｎはｎ番目のピクセルの輝度値であり、Ｎはグループ３０内のピクセルの総数である。従って、この実施例ではＮ＝２５６である。輝度値の合計は、グループ値Ｖの算出に用いられ得る多くの可能な統計的な測定値のうちの１つにすぎない。グループ値Ｖを算出するその他の方式は、グループのピクセルの輝度値の平均値、又は中央値などの統計的測定値を算出することである。より複雑で処理の難しい計算を用いると、算出される統計的な測定値は代替的に、四分位範囲、標準偏差、分散、歪度、又はグループ内のピクセルの輝度値の尖度となることがある。

同じ方式で、画像１の各ピクセルグループに対してグループ値が算出される。例示的な画像１では、８０×６０グループ、すなわち４８００グループが存在する。

グループ３０に対して算出されたグループ値Ｖは次に、隣接するピクセルグループのグループ値と比較される。図４のｂ）部分に示すように、ピクセルグループ３０は、他の８つのピクセルグループ３１〜３８に囲まれており、これらのグループ値も算出されている。グループ３０のグループ値Ｖとその隣接部分３１〜３８との間の差分ΔＶが算出され（工程Ｓ０４）、当該差分は所定の閾値と比較される（工程Ｓ０５）。閾値は、例えば、平均ピクセルがグループ３０とその隣接部分３１〜３８との間でどれだけ異なるかに基づいて設定されてもよい。例えば、１６×１６のピクセルグループ、すなわち２５６ピクセルのグループでは、閾値は２５６に設定されることがあるが、これは、グループ内の各ピクセルにおける輝度の平均的な差分が１であれば、閾値を上回るのに十分な差異であるとみなされる。グループ３０のグループ値Ｖと隣接部分３１〜３８との間の差分が閾値に等しい又は閾値を上回る場合には、ピクセルグループ３０は画像１の関連領域内にあるものと特定される（工程Ｓ０６）。反対に、グループ３０のグループ値Ｖと隣接部分との間の差分が閾値を下回る場合には、グループ３０は関連していない領域内にあるものと特定される（工程Ｓ０７）。このグループ値の比較は、Ｌａｐｌａｃｅ、Ｓｏｂｅｌ、Ｃａｎｎｙ、Ｌａｐｌａｃｅ ｏｆ Ｇａｕｓｓｉａｎ、或いはＤｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎなどのエッジ検出器フィルタを用いて実行され得る。

画像１全体にわたる全ピクセルグループは、このようにして隣接部分と比較され、これによって画像１は関連領域と非関連領域とに区分される。

時間的なフィルタリングは、ビデオシーケンス中の幾つかの画像フレームのグループ値を累積することによって実行され得る。グループ値は、第１の画像のピクセルグループの位置に対応する位置に保存されてもよい。図６は、このようなグループ値Ｖのマップの一部の例を示している。この図では、Ｖ_Ｒ，Ｃはマップ中の行Ｒ、列Ｃにあるピクセルグループのグループ値を示す。グループ値の累積マップは、各ピクセルグループごとに、新しい画像フレームについて算出された重み付けグループ値を先行フレームのグループ値の重み付け合計に加えること、すなわち、無限インパルス応答フィルタを用いることによって形成される。したがって、各ピクセルグループごとに、累積グループ値が以下の式により算出される。
Ｖ_{ａｃｃ ｍ}＝（１−α）・Ｖ_{ａｃｃ ｍ−１}＋α・Ｖ_ｍ

ここで、ｍはビデオシーケンス中の現在の画像フレーム数であり、Ｖ_{ａｃｃ ｍ−１}は先行する画像の累積グループ値で、αは重み付け係数である。重み付け係数αは、画像のノイズレベルに応じて選ばれる。例えば、αは０．２５に設定されてもよい。画像内に高いノイズレベルがある場合には、重み付け係数αは低めに設定され得る。画像内にノイズがない場合には、グループ値の差分を時間的にフィルタ処理する必要がなく、例えばαは１に設定されてもよい。

画像１の関連領域と非関連領域が特定されると、この画像の区分は画像１の符号化の基礎として使用され得る。マクロブロックの符号化時に使用されることになる量子化パラメータは、このマクロブロックが画像１の関連領域にあるのか、画像１の非関連領域にあるのかに応じて、ここで設定される。符号化に対して使用されるマクロブロックは、ピクセルグループが１６×１６ピクセルを有する場合に、符号化のために使用されるマクロブロックが同じ１６×１６ピクセルを有するように、ピクセルグループに対応し得ることに留意されたい。代替的に、ピクセルグループはマクロブロックよりも大きくてもよく、例えば、１６×１６ピクセルのマクロブロック４個に相当する３２×３２ピクセルのグループ１個よりも大きくてもよい。画像１の関連領域内のマクロブロックに関して、第１の圧縮値、例えばＱＰ＝２５が設定され、画像１の非関連領域のマクロブロックに関して、第２の圧縮値、例えばＱＰ＝３８が設定される。容易にわかるように、第１の圧縮値は第２の圧縮値よりも低く、その結果、符号化され、送信され、デコードされた画像内では、関連領域の画質は非関連領域の画質よりも高くなる。圧縮値ＱＰを設定するかわりに、圧縮値の変化ΔＱＰが設定され得る。例えば、初期圧縮値（例えば、ＱＰ＝２８）がすべてのマクロブロックについて設定され得る。関連領域及び非関連領域の特定に基づいて、この初期又はデフォルトの圧縮値からの変化は、上述と同じ原理を用いて各マクロブロックについて設定され得る。各マクロブロックに対して設定されるＱＰ値又は変化ΔＱＰは、画像のマクロブロックの位置に対応する位置に保存され、図７に示したように、画像１に対応するマップを形成してもよい。この圧縮値のマップの中で、ＱＰ_Ｒ，Ｃは、マップ中の行Ｒ、列Ｃにあるピクセルグループの圧縮値を示す。

上述のようにグループ値の時間的なフィルタリングの代わりに、グループ値の差分は同種の累積によって時間的にフィルタ処理されてもよい。したがって、グループ値の差分は画像のピクセルグループに対応する位置に保存されてもよく、各グループ値の差分は、それぞれのピクセルグループのグループ値と隣接するピクセルグループのグループ値との間の差分となることがある。次いで、グループ値の差分は時間に対して累積される。更に、グループ値の差分に基づく圧縮値は、グループ値に関して説明されているように、同じ重み付けの原理を代わりに用いて、時間的にフィルタ処理されてもよい。

本発明の方法は、イントラフレーム符号化に加えてインターフレーム符号化とも連動する。符号化される予定の画像がインターフレーム、例えば、Ｐフレームとして符号化される場合には、幾つかのブロックはいわゆるスキップブロックとして符号化されることがある。スキップブロックを符号化するとき、前の画像フレーム内の対応する位置でのマクロブロックの内容は、現在の画像フレームにコピーされる。スキップブロックは、動き又は変化がない画像の領域内、例えば、光の条件が変化していないシーンの静的な背景で使用されてもよい。その結果、現在の画像フレームを表すのに必要となるデータはより少なくなる。画像の関連領域と非関連領域の特定は、スキップブロックとして符号化するマクロブロックの決定に使用され得る。例えば、画像の非関連領域内のマクロブロックは、スキップブロックとして符号化されるように設定されてもよい。

符号化の前に、画像１はハードウェア支援変換モジュール又はスケーラにおいて処理され、ここで、回転、切取り、モザイクの付加、又は電子画像安定化が実施されることがある。設定した圧縮値が、拡大縮小後の画像内の正確なピクセルグループ又はマクロブロックに実際に対応するように、圧縮値は同じスケーラで処理されなければならない。代替的に、グループ値の差分は、圧縮値の設定前にスケーラで処理されてもよい。

要約すると、本発明の方法を採用することにより、デジタル画像を送信する際にビットレートを低減することが可能で、同時にモニタ中のシーンの注目している細部の高品質表現が可能である。ピクセルグループのサイズは、画像の目的に応じて選択される。したがって、各グループのピクセル数は、関連対象物を包含していない第１のデジタル画像の領域内のグループ値間の閾値を下回る差分を生成するように適合されている。ピクセルグループは、関連対象物の細部の縮尺に応じて、８×８又は１６×１６ピクセルから上向きに変動する。

図８では、本方法に従って使用され得る符号化システムが、概略的に描かれている。符号化システム５０は、圧縮値を用いて入力画像を処理するように構成された符号化モジュール５１を備える。更に、符号化システム５０は、第１の画像１などの画像中のピクセルを表す情報を受信するように構成された、受信モジュール５２、及び、各画像中の隣接するピクセルグループの情報の合計を算出するように構成された、グループ値モジュール５３を備える。更にまた、差分算出モジュール５４は、隣接するピクセルグループのグループ値間の差分を算出するように構成されている。比較モジュール５５は、この差分を所定の閾値と比較するように構成されている。特定モジュール５６は、差分が閾値に等しい又は閾値を上回る場合にはピクセルグループが関連領域内にあると特定し、差分が閾値を下回る場合にはピクセルグループが非関連領域内にあると特定するように構成されている。圧縮値設定モジュール５７は、関連領域の特定に基づいて、各ピクセルグループに対して圧縮値を設定するように構成されている。設定は、関連領域内のピクセルグループに第１の圧縮値が割り当てられ、非関連領域内のグループには第２の圧縮値が割り当てられ、第２の圧縮値は第１の圧縮値よりも低い画質をもたらす圧縮を表すように実行される。符号化システム５０は、上述のように図２〜７に関連付けて操作されてもよい。符号化システム５０は、ハードウェア、ファームウェア、もしくはソフトウェア、又はそれらの組み合わせとして実装され得る。図９に示すように、カメラ６０に組み込まれてもよく、或いはカメラ６０に動作可能に接続されてもよい。カメラはデジタルカメラであってもよい。そうでない場合には、符号化システムは、アナログ信号をデジタル信号に変換するビデオデジタル化ユニットを介して、アナログカメラに接続されてもよい。

当然のことながら、当業者は、上述の実施形態を様々な方法で変更することができ、上述の実施形態に示される本発明の利点を依然として使用することができる。例として、上記の説明では、デジタル画像はＹＣｂＣｒ色空間に変換され、輝度値はグループ値の算出に用いられる。しかしながら、色度値Ｃｂ及びＣｒのうちの一方が代わりに用いられてもよい。

更に、デジタル画像は、ＲＧＢなどの別の色空間に変換可能であり、その場合、色チャネルＲ（赤）、Ｇ（緑）、又はＢ（青）のうちの１つがグループ値の算出に用いられてもよい。

更にまた、画像センサからの画像データは、Ｂａｙｅｒフィルタリング前に、直接使用し得る。ここで、画像はピクセル毎の１つの階調として表現され、これらを用いてグループ値が算出され得る。階調は光強度値と見なされてもよい。

このように、ピクセル情報は、画像パイプライン又はビデオパイプラインの任意の段階から受信され得、具体的な情報のタイプは、その情報がパイプライン中のどこから来ているかに依存することを理解されたい。

グループ値の算出のために、カラー値、光強度値、又は輝度値を用いる代わりに、これらの値のいずれかの分散が使用されてもよい。

上記の説明では、グループ値は、ピクセルを表す情報、及びここではより具体的にピクセルの輝度値の合計を生成することによって算出される。しかしながら、既に示したように、グループ値は、代わりに情報の平均又は中央値を算出することによって、算出されてもよい。しかも、グループ値は、情報の四分位範囲、分散、歪度、尖度又はより高い出力の統計的な測定値をもたらす、複雑且つ計算集約的な計算によって算出されることがある。

当業者であれば、グループ値間の差分に対してより多くの閾値を用いることによって、画像の関連領域と非関連領域への区分が更に改善され得ることが、わかるであろう。したがって、領域は、グループ値間の差分が第１の閾値に等しい又は第１の閾値を上回る場合には、関連性の第１のレベルにあると特定され、グループ値間の差分が第２の閾値に等しい又は第２の閾値を上回るが、第１の閾値を下回る場合には、関連性の第２のレベルにあると特定され、また、領域は、グループ値間の差分が第２の閾値を下回る場合には、関連性がないと特定され得る。これに対応して、関連性の異なるこれらの領域に対して、異なる圧縮値が使用されてもよい。例えば、第１の圧縮値は、第１の関連性レベルの領域内のマクロブロックに対して設定されてよく、第２の圧縮値は、第２の関連性レベルの領域内のマクロブロックに対して設定されてよく、更に第３の圧縮値は、関連性のない領域内のマクロブロックに対して設定されてよい。この場合、第３の圧縮値は、第２の圧縮値よりも低い画質をもたらす圧縮を表すことがあり、同様に第１の圧縮値よりも低い画質をもたらす圧縮を表すことがある。別の変形例では、第１の圧縮値は、関連性の第１のレベルの領域内のマクロブロックに対して設定されてもよく、低い画質を示唆する第２の圧縮値は、関連性の第２のレベルの領域内のマクロブロックに対して設定されてもよく、非関連領域内のマクロブロックはスキップブロックとして符号化されてもよい。

上述の例では、コーデックで用いられる圧縮フォーマットはＨ．２６４である。Ｈ．２６５、ＭＰＥＧ−４ Ｐａｒｔ ２、又はＶＰ９コーデックなどのハイブリッドコーデックに基づく他のブロックは、圧縮の空間的制御を認めさえすれば、十分に使用し得ることを理解されたい。

場合によっては、グループ値の違いを比較するために使用される閾値は、低閾値が大きな差分を表し、高閾値が小さな差分を表すように設定し得る。関連領域は閾値を下回る差分を有するピクセルグループを備える領域となるが、このような閾値により、本発明の原理は依然として有効であることを理解されたい。同様に、高い値が高画質を表し、低い値が低画質を表すように、他の種類の圧縮値が使用され得る。たとえそうであっても、関連領域は高画質になるように圧縮を少なくし、非関連領域は低画質になるように圧縮を多くする本発明の原理は妥当である。

加えて、本発明は、監視カメラのビデオシーケンスなどのモーションビデオシーケンスに関連して記述されている。しかしながら、本発明の方法は、静止画像に対しても有効であるように使用されてもよい。

カメラは、例えば、可視光を利用するカメラ、ＩＲカメラ、又はサーマルカメラなどの任意のタイプのカメラとの接続で使用され得る。

更に、本発明をデジタルカメラとの関連で説明したが、アナログカメラと共に使用されてもよい。そのような場合、アナログカメラからの画像がデジタル化装置を用いてデジタル形式に変換され得る。

デジタル画像は、ブロックベースの符号化技術を用いて符号化されるピクセルを表す情報の生成が可能な、可視光センサ、サーマルセンサ、ＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）センサ、又は他のタイプの画像生成センサによって生成され得る。

説明を簡略化するために、ピクセル情報、グループ値、蓄積されたグループ値、及び圧縮値は、マトリクスの形態で説明されている。しかしながら、それらデータはすべて他の形式で記憶されてもよい。

上記の説明では、画像内の関連領域の特定は、画像の符号化時に、画像内の種々の領域に対して種々の圧縮値を設定するために利用される。しかしながら、関連領域の特定は、他の目的に使用されてもよい。例えば、特定は、表示された画像内の関心領域に自動的に印を付けるために使用され得る。また、メタデータを有する対象物又は領域のタグ付け又は記述のための根拠としても使用され得る。更に、ノイズ低減フィルタにフィードバックを提供するためにも使用され得る。

したがって、本発明は、図示の実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ定義されるべきである。

Claims (6)

1. デジタル画像を符号化する方法であって、
   第１のデジタル画像（１）内の複数のピクセル（２）を表す情報を受信すること、
   前記複数のピクセル（２）の一部から構成される、隣接するピクセルのグループ（３０〜３８）の各々に対してグループ値（Ｖ）を形成するため、前記第１のデジタル画像（１）内の前記隣接するピクセルのグループに関する前記情報の合計、平均、又は中央値を算出すること、
   前記グループ値（Ｖ）間の差分を算出すること、
   前記差分を所定の閾値と比較すること、
   前記差分が前記閾値に等しい又は前記閾値を上回る場合には、前記グループを関連領域内にあるものとして特定すること、及び
   前記差分が前記閾値を下回る場合には、前記グループを非関連領域内にあるものとして特定すること、
   前記関連領域の前記特定に基づいて、前記隣接するピクセルのグループ（３０〜３８）の各々に対して圧縮値（ＱＰ）を設定することであって、前記関連領域内のマクロブロックには第１の圧縮値が与えられ、前記非関連領域内のマクロブロックには第２の圧縮値が与えられ、前記第２の圧縮値は前記第１の圧縮値よりも低い画質をもたらす圧縮を表す、設定すること、
   前記隣接するピクセルのグループ（３０〜３８）に対して設定された前記圧縮値を用いて前記第１のデジタル画像（１）を符号化すること
   を含む方法。
2. 前記第２の圧縮値を有する前記隣接するピクセルのグループは、スキップブロックとして符号化される、請求項１に記載の方法。
3. 前記第１のデジタル画像（１）の符号化前に変換モジュール内で前記第１のデジタル画像（１）を処理すること、及び
   前記第１のデジタル画像（１）の符号化前に前記変換モジュール内で前記第１のデジタル画像（１）に対応する前記グループ値（Ｖ）又は前記圧縮値（ＱＰ）を処理すること
   を更に含む、請求項１に記載の方法。
4. プロセッサによって実行されると請求項３に記載の方法を遂行するように構成された指令を含むコンピュータ可読記憶媒体。
5. 入力画像に対応する画像データを符号化するためのデジタル画像符号化システムであって、
   圧縮値（ＱＰ）を用いて入力画像を処理するように構成された符号化モジュール（５１）と、
   第１のデジタル画像（１）内の複数のピクセル（２）を表す情報を受信するように構成された受信モジュール（５２）と、
   前記複数のピクセル（２）の一部から構成される、隣接するピクセルのグループ（３０〜３８）の各々のグループ値（Ｖ）を形成するため、前記第１のデジタル画像内の前記隣接するピクセルのグループ（３０〜３８）に関する前記情報の合計、平均、又は中央値を算出するように構成されたグループ値モジュール（５３）と、
   前記グループ値（Ｖ）間の差分を算出するように構成された差分計算モジュール（５４）と、
   前記差分を所定の閾値と比較するように構成された比較モジュール（５５）と、
   前記差分が前記閾値に等しい又は前記閾値を上回る場合には、前記隣接するピクセルのグループ（３０〜３８）は関連領域内にあると特定し、前記差分が前記閾値を下回る場合には、前記隣接するピクセルのグループ（３０〜３８）は非関連領域内にあると特定するように構成された特定モジュール（５６）と、
   前記関連領域内の前記隣接するピクセルのグループ（３０〜３８）に第１の圧縮値が与えられ、前記非関連領域内の前記隣接するピクセルのグループ（３０〜３８）に第２の圧縮値が与えられ、前記第２の圧縮値は前記第１の圧縮値よりも低い画質をもたらす圧縮を表すように、前記関連領域の前記特定に基づいて、前記隣接するピクセルのグループ（３０〜３８）の各々に対して前記圧縮値（ＱＰ）を設定するように構成された圧縮値設定モジュール（５７）と
   を備えるデジタル画像符号化システム。
6. 請求項５に記載のデジタル画像符号化システム（５０）を備えるカメラ。

Images