JP6751319B2 - デジタル画像前処理の方法及びデジタル画像前処理システム - Google Patents

Description

本発明はデジタル画像処理の分野に関し、より具体的には、符号化に向けたデジタル画像の前処理に関する。

モニタリングシステムなど、多くのデジタル画像の利用において、デジタル画像は、伝送又は保管のため、様々な符号化スキームを使用して圧縮される。符号化前に、デジタル画像の前処理が実行される。例えば、前処理には、画像の品質を改善するための鮮明化又はノイズフィルタ処理が含まれる。しかしながら、画像を撮影する画像センサが撮影中に動くと、問題が発生する。まず第一に、画像間の時間的冗長性が少ないため、引き続き起こる画像の変化は、エンコーダからの出力ビットレートの増大をもたらす。帯域幅が非常に限定的な場合、例えば、モバイルネットワークで伝送を行っているときには、高速移動によりビットレートが高まっていると、動画を伝送できなくなることがある。加えて、移動は、画像の前処理の計算負荷を増大させることがある。しかも、前処理を行うと、画像センサが静止しているときに撮影した同一画像と比較して、画像を表示するために必要となるビット数が増えることがある。この問題に対する１つの解決法は、画像センサを備えるカメラのパンニング及び／又はチルティング中に画像の符号化をフリーズし、動作が停止した後に新しい入力画像フレームの符号化を再開することである。しかしながら、これは動作中に視覚情報が失われることを意味し、伝送された画像シーケンスを監視しているオペレータは方向を見失うことがある。そのため、符号化のアプローチを改善する必要がある。

本発明の目的は符号化のためにデジタル画像を前処理する方法を提供することであり、これにより、画像を撮影する画像センサが動いているときに、ビットレートを下げることができる。本発明のもう１つの目的は、画像センサが動いているときに計算負荷が不必要に大きくなるのを回避できるようにする前処理の方法を提供することである。更なる目的は、画像センサの動作中でも、符号化のためデジタル画像を前処理して、情報の視覚化を可能にする方法を提供することである。更に別の目的は、画像センサの動作中でも、有用性を高めた画像を提供しうる前処理方法を提供することである。

また、画像を撮影する画像センサが動いているとき、不必要に高いビットレート及び不必要に高いコンピュータ使用率を回避しうる前処理システムを提供することも、本発明の目的の１つである。更に、画像センサの動作中でも、画像の有用性を高めることができる前処理システムを提供することも本発明の目的である。

更なる目的は、画像センサが動いているときでも、画像の提供を可能にする前処理システムを提供することである。

更に別の目的は、画像を撮影する画像センサが動いているときでも、効率的なビットレートを可能にするコンピュータプログラム製品を提供することである。

第１の態様によれば、これらの目的は、符号化のため画像センサによって撮影されたデジタル画像を前処理する方法であって、第１のデジタル画像を受信すること、前記第１のデジタル画像の撮影時に画像センサの動作を表わす情報を受信すること、及び前記第１のデジタル画像を前処理することを含み、前記前処理の少なくとも１つのパラメータは、動作を表わす前記情報に依存する方法によって、完全に又は少なくとも部分的に達成されている。このように、前処理は、画像センサの動作が不必要に高いビットレートを引き起こさないように、適合されうる。その結果、ビットレートが高くなるという犠牲を払うことなく、画像センサの動作中であっても、画像は符号化され、保存され、或いは表示のため伝送されうる。しかも、画像センサの動作中、例えば、高速パンニング動作中には、撮影される画像は一般的に不鮮明になるため、前処理の修正によって画質の低下が起こりうるが、このような画像の有用性にはほとんど影響を及ぼさない。

画像センサの動作が所定の閾値を超える場合には、第１のデジタル画像の前記前処理による処理が、画像センサの動作が前記閾値以下であった場合よりも少なくなるように、前記前処理の前記少なくとも１つのパラメータが修正されうる。

更に、前記前処理の前記少なくとも１つのパラメータは、少なくとも１つの前処理プロシージャが無効になるように修正されうる。例えば、画像センサが動いているときには、画像が鮮明化の利益を享受することはないため、鮮明化は行われなくてもよい。

別の変形例によれば、前記少なくとも１つのパラメータは、少なくとも１つの前処理プロシージャが前記第１のデジタル画像を処理するように修正されるが、その程度は大きいこともあれば小さいこともある。例えば、フィルタ処理は大幅に適用されうる。更なる例として、トーンマッピングも実行されうるが、その程度は小さい。

更に別の変形例によれば、前記前処理の前記少なくとも１つのパラメータは、別の例では無効な少なくとも１つの前処理プロシージャが有効になるように修正される。例えば、ぼかしは画像センサが動いている間に適用されうるが、これは画像中のピクセルブロックをほぼ均一にし、画像を表示するためのビット要件を引き下げる。

前処理は、鮮明化、コントラスト付加、トーンマッピング、色補正、空間的及び／又は時間的ノイズフィルタ処理、ぼかし、Ｂａｙｅｒパターンサンプリング、モザイク解除、ＨＤＲ合成、焦点制御、露出制御、及びゲイン制御からなるグループから選択された少なくとも１つの前処理プロシージャを実行することを含みうる。画像センサデータとの関連で、ノイズはシーンに存在しないものを表わすセンサデータであることに留意されたい。ノイズは時間的なもので、１つの画像フレームから次の画像フレームへ変化することがあるが、場合によっては空間的なもので、同一フレーム内で１つのピクセルごとに異なることがある。ノイズ源にはさまざまなものがある。時間的ノイズには、例えば、リセットノイズ、熱ノイズ、フリッカノイズ、暗電流ショットノイズ、量子化ノイズ、又は位相ノイズなどがありうる。空間的ノイズには、例えば、暗固定パターンノイズ、光固定パターンノイズ、漏洩ノイズ（ｌｅａｋｅｒ ｎｏｉｓｅ）、欠陥ピクセルノイズ、又は表面的欠陥ノイズ（ｃｏｓｍｅｔｉｃ ｄｅｆｅｃｔ ｎｏｉｓｅ）などがありうる。

画像センサの動作を表わす情報は、前記画像センサのパン、チルト及び／又はズームの動作を制御するコントローラによって提供されうる。このように、前処理の適用は、意図した画像の動きを考慮して行われうる。ここでは、ズーミング自体は画像センサの動作を示唆していないことに留意されたい。しかしながら、画像の符号化を目的とした場合、ズーミングは画像センサの実際の動作と同様に、撮影された画像の変化を引き起こす。そのため、本願との関連では、ズーム操作は画像センサの動作と同等であるとみなされる。

画像センサの動作を表わす情報は、モーションセンサによって提供されうる。これにより、振動によって引き起こされる望ましくない動作も考慮されうる。モーションセンサからの情報はまた、パン、チルト及び／又はズーム操作に関する情報を提供するために使用されうる。

本方法の変形例によれば、前記少なくとも１つのパラメータは、画像センサの予定された動作に向けて、徐々に修正される。このように、例えば、より強いノイズフィルタ処理は徐々に追加されて予定された動作につながり、或いは鮮明化は徐々に低減される。その結果、画像に急激な変化が現れることは回避されうる。

本方法は、画像センサの予定された動作に向けて、イントラフレームとして前記第１のデジタル画像を符号化することを更に含む。撮影された画像内に動きがある場合には、フレーム間の差分が更に大きくなるため、インターフレームは大きくなる。ある点では、その差分は充分に大きくなって、イントラフレームは、符号化のために他の画像フレームに依存することはなく、より効率的になる。動きがあることがわかっている場合には、不必要に大きなインターフレームが回避されうるように、イントラフレームが強制される。イントラフレームを強制すること、又は挿入することにより、その後の画像は当該のイントラフレームを参照してインターフレームとして符号化されるため、符号化されたフレームはより高い品質を有する。その後のインターフレームはまた、より適切な参照フレームを有するため、必要とするビットはより少なくなりうる。

第２の態様によれば、上述の目的は、符号化のために画像センサによって撮影された入力画像を前処理するためのデジタル画像前処理システムによって、完全に又は少なくとも部分的に実現される。当該システムは、入力画像を受信するように配置された画像受信モジュール、前記第１のデジタル画像の撮影時の画像センサの動作を表わす情報を受信するように配置された動作情報受信モジュール、及び符号化前に前記入力画像を前処理するように配置された前処理モジュールを備え、前記前処理の少なくとも１つのパラメータは、動作を表わす前記情報に依存している。このようなシステムによって、不必要に高い出力ビットレートに対して費用をかけることなく、画像センサが動作中に画像を提供することができる。

前処理モジュールは、鮮明化、コントラスト付加、トーンマッピング、色補正、空間的及び／又は時間的ノイズフィルタ処理、ぼかし、Ｂａｙｅｒパターンサンプリング、モザイク解除、ＨＤＲ合成、焦点制御、露出制御、及びゲイン制御からなるグループから選択された少なくとも１つの前処理プロシージャを実行するように、配置されうる。

デジタル画像前処理の一実施形態では、動作情報受信モジュールは、前記画像センサのパン、チルト及び／又はズームの動作を制御するコントローラに、通信可能に接続される。これにより、意図した動作の情報が提供される。

代替的に又は追加的に、動作情報受信モジュールはモーションセンサに通信可能に接続されてもよい。本方法に関連して述べたように、意図した動作に加えて、意図しない動作の情報がそれによって提供されうる。

第３の態様によれば、第２の態様による前処理システムを備えたカメラによって、上述の目的が完全に又は少なくとも部分的に達成される。このようなカメラは、一般的に、利点を伴い、第２の態様と同じ方法で実装されうる。

第４の態様によれば、プロセッサによって実行されるときに第１の態様による方法を実行するように適合された命令を有するコンピュータ可読記憶媒体を備える、コンピュータプログラム製品によって、上述の目的が完全に又は少なくとも部分的に達成される。プロセッサは、例えば、中央処理装置（ＣＰＵ）、グラフィック処理装置（ＧＰＵ）、集積回路中に実装されるカスタム仕様の処理デバイス、ＡＳＩＣ、ＦＰＧＡ又はディスクリート素子を含む論理回路など、任意の種類のプロセッサであってよい。コンピュータプログラム製品は、一般的に、利点を伴い、第１の態様と同じ方法で様々な変化しうる。

本発明の利用可能性の更なる範囲は、以下の詳細な説明から明らかになるであろう。しかしながら、この詳細な説明によって本発明の範囲内の様々な変更及び修正が当業者に明らかとなるため、詳細な説明及び具体例は、本発明の好適な実施形態を示しながらも単なる例として提示されることを理解されたい。

したがって、記載の装置及び記載の方法は異なる場合があるため、この発明は、記載の装置の特定の構成要素部品又は記載の方法のステップに限定されないことを理解されたい。本明細書で使用される用語は、特定の実施形態を説明する目的のためにすぎず、限定的であることを意図しないことを更に理解されたい。本明細書及び添付の特許請求の範囲で使用されるように、冠詞（「ａ」、「ａｎ」、「ｔｈｅ」、及び「ｓａｉｄ」）は、文脈によって他のことが明らかに示されない限り、一又は複数の要素が存在することを意味すると意図している点に留意されたい。したがって、例えば、「ａｎ ｏｂｊｅｃｔ」又は「ｔｈｅ ｏｂｊｅｃｔ」に対する言及は、幾つかのオブジェクト（ｏｂｊｅｃｔ）などを含みうる。更に、「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」という言葉は、他の要素又はステップを排除しない。

本発明を、実施例を用い、添付の概略図を参照しながら、詳細に説明する。

カメラによってモニタされるシーンの図解である。 パン／チルト／ズーム機能を有するカメラの正面図である。 図２のカメラのブロック図である。 画像の撮影、前処理及び符号化の工程の幾つかの機能を示すブロック図である。 デジタル画像の前処理の方法のフロー図である。 デジタル画像前処理システムの一実施形態のブロック図である。 デジタル画像前処理システムを組み込むカメラのブロック図である。

図１では、カメラ２によってモニタされるシーン１を示す。カメラの例を図２に示す。このカメラ２は、画像センサ（図２には示さず）及びレンズ３を有する。カメラ２は、パン軸４の周りにパン可能で、チルト軸５の周りにチルト可能な機能を有する、いわゆるＰＴＺカメラである。カメラ２はズーミングも可能である。

図３は、カメラ２の構成要素の一部を示すブロック図である。ここでは、画像を撮影するように配置された画像センサ６、並びにカメラ２のパンニング及びチルティングを制御するためのＰＴコントローラ７が示されている。更に、カメラ２はズーミングを制御するズームコントローラ８を有する。カメラ２はまた、技術的に既知の付加的な構成要素を有するが、これらの構成要素は本発明には関連がないため、ここでは示されることや議論されることはない。

カメラ２によってシーン１の画像を撮影し、符号化する工程の基本原理は、図４を参照して説明される。シーン１からの光はレンズ３を通ってカメラ２に入り、画像センサによって撮影１０される。画像センサ６のデータはグレースケール強度の形態をとり、一般的に各ピクセルはそれぞれのデジタル値で表わされる。撮影された画像、すなわち、より具体的には画像を表わすデータは、次に前処理１１を受ける。前処理１１は、Ｂａｙｅｒパターンサンプリング、モザイク解除、鮮明化及びトーンマッピングなど、一又は複数の前処理プロシージャを含みうる。前処理プロシージャは一般的に、高品質な画像又はより使いやすい画像を提供することを目的としている。前処理された画像は、その後いつでも符号化１２できるようになっている。符号化は、任意の圧縮フォーマットに従って行われうる。

動画シーケンスの撮影中にカメラ２が動くと、それが予定された又は自発的な意図されたパンニング、チルティング又はズーミング操作であっても、或いは意図しない振動であっても、画像は不鮮明になることがある。更に、動的なシーンの画像間では静的なシーンの画像間よりも冗長性が少ないため、この動作は画像を表示するためのビットレートを増大させる。モバイルネットワーク上など、帯域幅が極めて制限されている場合には、ビットレートの増大は動画伝送に対して高すぎることがあり、例えば、カメラの高速パンニング又はチルティング動作中には、画像の伝送が不可能になる。上述のように、ビットレート問題はしばしば、パンニング、チルティング及び／又はズーミング中に画像をフリーズすることによって対処される。このように、動作中には画像の前処理及び符号化は行われないため、ビットレートは低くなっている。しかしながら、このようなアプローチは、動作中にはオペレータに対して視覚情報がわずかしか提供されないこと、或いはまったく提供されないことを意味する。そのため、オペレータは、動作中に遷移したシーンの領域内の疑わしい対象物や発生する挙動に気付く機会を得ることはほとんどない。動作中に視覚情報がないと、オペレータには動作の開始位置と動作の終了位置の画像しか提供されず、その間の画像はないため、方向感覚を失う。これらの問題は、動画シーケンスのライブ表示に関しても、録画された動画シーケンスの場合と同じである。

本発明によれば、カメラの動作中には、画像をフリーズさせるべきではない。これによってビットレートは高くなるが、動作中に利用できる視覚情報はそれに見合うだけの価値はありうる。しかしながら、本発明者らは、ビットレート増大の一部は、符号化前に適用される前処理を修正することによって回避されうることを実証した。

例えば、鮮明化は画像の差分を増大させることによって機能するが、ノイズの増加にもつながりうる。差分とノイズは、鮮明化された画像を符号化するときには、今度は結果としてビットレートの増大をもたらす。カメラ、或いはもっと正確に言うならば、画像センサの動作中は、鮮明化を抑える、或いは無効にすることによって、ビットレートの上昇は抑制されうる。

同様に、画像のダイナミックレンジの改善に使用されるトーンマッピングは、画像の明暗の領域に差分を付加しうるが、ノイズも付加するためビットレートを増大させる。動作中はトーンマッピングを無効にすることによって、ビットレートの増大の一部を抑制しうる。

同様に、その他の面でビットレートを増大させうる他の前処理プロシージャを無効にするか、その適用の程度を少なくしてもよい。直観的には、これは画質を低下させるが、カメラの動作中に撮影される画像は一般的に不鮮明なため、ほとんどの場合、画質の低下はオペレータが懸念するものとはならない。更に、高速動作中には、前処理によって画像が利益を得ることはない。

鮮明化の抑制や無効化を行いすぎると、実際にはカメラの動作中に不鮮明さが増すこともありうる。
そのため、画像の差分を増大させる代わりに、ピクセルのブロック又はグループの平均輝度値を計算し、その値を当該ブロック内の全ピクセルの輝度値として使用することによって差分を低減してもよい。このように、ピクセル値は画像領域全体に「広げられる（ｓｍｅａｒｅｄ）」。

一部の前処理プロシージャは、カメラの動作中に修正されることがあり、ビットレート低減の目標に寄与することはないが、画質や画像の有用性を実際に改善する。一部のカメラは、短時間の間に２つの連続した画像を撮影することによって、画像のダイナミックレンジを改善する。画像の１つに対しては低露出が使用され、シーンの明るい領域は明瞭なシーンとなるが、暗い領域は詳細が欠落し、ほぼ完全に真っ暗になる。別の画像に対しては高露出が使用され、明るい領域は露出過度又は飽和した状態で完全に真っ白になるが、暗い領域は詳細が表示される。一方の画像又は他方の画像の領域を選択的に使用することにより、シーンの明るい領域と暗い領域の両方が詳細に表示される融合画像が生成される。このような前処理プロシージャはＨＤＲ（ハイダイナミックレンジ）合成又はＷＤＲ（ワイドダイナミックレンジ）合成と称される。良好な結果を与えるこのような合成のためには、２つの画像が同一のシーンを示す短時間の間に、露出の異なる２つの画像を撮影しなければならず、さもなければ、２つの撮影の間にシーン内で動いている対象物は不鮮明に映し出されてしまう。しかしながら、カメラが動いている場合には、２つの画像が実際に同一のシーンを示すことができるように、時間的に十分に近接した２つの画像を撮影することは不可能なことがある。そのため、画像全体が不鮮明になることがある。この問題に対処するため、カメラの動作中には、ＨＤＲ合成は無効にされることがある。したがって、露出の異なる２つの画像の一方のみが符号化されるか、露出の異なる２つの画像の撮影は無効にされ、１つの画像のみが撮影され符号化されることがある。

画像又は動画の統計値、例えば、輝度値、色度値、輝度及び／又は色度の分散、動きの情報、自動焦点値、移動物体カウンタ、ビットレート、又はフィルタパラメータなどが、動画シーケンス中に経時的に収集されるが、画像センサが動作していると判断されるとリセットされることがある。このように、動作によって統計値が損なわれることはない。

一又は複数の前処理プロシージャの修正を行うべきことを確定するため、カメラ２、或いはより正確には画像センサ６の動作に関する情報を収集される。この情報はＰＴコントローラ７によって提供されうるが、このコントローラは、カメラ２のパンニング及びチルティングを制御するための情報を有する。同様に、このような情報はズームコントローラ８によっても提供されうる。カメラ２はまた、モーションセンサ９、例えば、画像センサの動作を検知する加速度計を有しうる。モーションセンサ９は、カメラ２が意図せずに振動している又は揺れているときには、画像センサ６の動作に関する情報を提供しうる。また、ＰＴコントローラ７に加えて又はＰＴコントローラ７の代わりに、画像センサ６の意図した動作に関する情報を提供しうる。

既に議論したように、この動作は望ましい動作のこともあれば、望ましくない動作のこともある。望ましい動作は、例えば、ジョイスティックなどの入力装置によって制御されうる。望ましい動作は、いわゆるガードツアーとして予定され、前処理されうる。例えば、風や交通、或いはカメラの不十分な固定に起因する振動も望ましくない動作になりうる。

カメラの動作が予定されている場合には、その動作に向けて一又は複数の前処理プロシージャを修正することも可能である。例えば、時間的ノイズフィルタ処理は、フィルタ処理が徐々に厳しくなり、動きが終了するまで高いレベルで維持されうるように修正されてもよい。ノイズフィルタ処理の増加は、前処理された画像の細部を消失させる原因となりうるが、カメラの動作中には、画像の有用性に対する懸念にはならない。フィルタ処理は時間的にも空間的にも行いうる。これら２つのタイプのフィルタ処理の一方又は両方を使用しうるが、動作中には両者のバランスを変えることも可能である。例えば、画像センサが静止しているときには、時間的フィルタ処理の比率を高めて、或いは時間的フィルタ処理だけが実行され、画像センサが動いているときには、空間的フィルタ処理の比率を高めて、或いは空間的フィルタ処理だけが実行される。

予定された動作に向けて、符号化もまた修正されうる。カメラが動くことがわかっている場合には、画像内に明らかな動作があり、より大きなインターフレームをもたらすことが暗黙のうちに知られている。動作が始まると、その結果、イントラフレームが強制されてもよく、これによりその後のインターフレームに対するより良い基準を提供する。

図５を参照すると、本方法はより一般的な用語で説明される。第１のデジタル画像が受信され（ステップＳ０１）、第１の画像を撮影したときの画像センサの動作を表わす情報が受信される（ステップＳ０２）。第１のデジタル画像は前処理される（ステップＳ０３）。動作を表わす情報に基づいて、前処理の一又は複数のパラメータを修正すべきかどうか、また、どのように修正すべきかが決定される（ステップＳ０４）。例えば、動作は所定の閾値と比較されてもよく、その動作が閾値を超える場合には、一又は複数の前処理プロシージャが無効化、有効化、又は修正される。

画像センサの動きが前処理に影響を及ぼすのは、その後の撮影画像だけになるように、前処理は、以前の画像に対して受信した動作を表わす情報に基づいて修正される。一部の前処理プロシージャに関しては、画像センサの動作が、画像センサの動作を表わす情報が受け渡される画像の前処理に、並びにその後撮影される可能性のある画像の前処理に反映されるように、パラメータは直ちに修正されることがある。

前処理（Ｓ０３）後、第１の画像は伝送及び／又は保存されるように、符号化（ステップＳ０５）される。

図６に、デジタル画像前処理システム２０の実施形態を示す。システム２０は、入力画像を受信するように配置された画像受信モジュール２１、並びに、入力画像の撮影時に画像センサの動作を表わす情報を受信するように配置された動作情報受信モジュール２２を有する。更に、システム２０は入力画像を前処理するように配置された前処理モジュール２３を有する。前処理の少なくとも１つのパラメータは、画像センサの動作を表わす情報に基づいている。前処理後、画像はエンコーダ（図示せず）によって符号化されうる。エンコーダは前処理システム２０に一体化されてもよく、或いは前処理システム２０から分離されてもよい。前処理システム２０は、図７に概略的に示したカメラ１０２などのように、カメラに一体化されてもよい。図７では、カメラ１０２の構成要素は図３のカメラ２の構成要素と同じ参照番号で示されるが、１００が加算されているだけなので、ここではこれ以上説明しない。

代替的に、前処理システム２０は、図３のカメラ２などのカメラに動作可能に接続された分離型のユニットであってもよい。

前処理システムは、ハードウェア、ファームウェア、ソフトウェア、又はこれらの組み合わせとして具現化されうる。

当業者は上述の実施形態を多くの方法で修正し、かつ、上記の実施形態において示されている本発明の利点を依然として使用することが可能であると理解されるだろう。例として、幾つかの前処理プロシージャについて述べたが、本発明は、例えば、コントラスト付加、色補正、Ｂａｙｅｒパターンサンプリング、モザイク解除、又はゲイン制御など、デジタル画像の符号化に向けて適用される他の前処理プロシージャにも等しく適用可能である。ノイズを増やす傾向にある前処理プロシージャは、出力ビットレートを下げるために抑制されるか無効にされ、一方、ノイズを減らす傾向にある前処理プロシージャは、同じ目的で有効にされるか促進されることが理解されるであろう。

図３に関連してＰＴＺコントローラは、パンニングとチルティングのためのコントローラ、並びにズーミングのためのコントローラとして説明されている。しかしながら、これはパンニング、チルティング及びズーミングそれぞれのための分離されたコントローラとして作られてもよく、或いは、パンニング、チルティング及びズーミングのための１つの共通コントローラとして作られてもよい。

画像センサの動作が比較される際の所定の閾値は、ユーザー入力によって事前にプログラムされるか設定されてもよい。

１つだけの閾値を使用するのではなく、複数の閾値が使用されうる。例えば、動作が第１の低い閾値を超える場合には、一又は複数の前処理プロシージャが低減され、動作が第２の高い閾値を超える場合には、これらの前処理プロシージャは無効にされていることがある。前処理のパラメータは動作に依存し、例えば線形関数となることがある。したがって、動作が大きくなるにつれて、パラメータは徐々に抑制されることがある。例として、カメラがゆっくりとパンニング又はチルティングしている場合には、鮮明化は若干抑制されてもよく、カメラがより素早く動いているときには、鮮明化は大幅に抑制されるか無効化されてもよい。このように鮮明化は動作のレベルに依存する。

前処理システムは、ソフトウェア、ファームウェア、ハードウェア、又はこれらの組み合わせとして実装されうる。

前処理システムの前処理モジュールは、画像に適用されるすべての前処理プロシージャを実行するように配置されうる。代替的に、前処理モジュールは、それぞれが１つだけの或いは数個の前処理プロシージャを実行する、独立な又は協働する幾つかのサブモジュールに分割されてもよい。

上記の例では、本発明はカメラに関連して説明されている。カメラは、監視カメラであってもよい。更に、カメラは、例えば、可視光を利用するカメラ、ＩＲカメラ、又はサーマルカメラなどの任意のタイプのカメラであってもよい。カメラはデジタルカメラであってもよいが、本発明はアナログカメラでも使用されうる。そのような場合、アナログカメラの画像はデジタル化装置を用いてデジタル形式に変換されうる。

カメラの代わりに、画像フレームを取り込む画像センサが別のタイプの画像撮影装置の中に配置されてもよい。

画像は、可視光センサ、サーマルセンサ、ＴＯＦ（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）センサ、又は他のタイプの画像生成センサによっても生成されうる。

従って、本発明は、図示した実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ定義されるべきである。

Claims (9)

1. 画像センサで撮影されたデジタル画像を符号化のため前処理する方法であって、
   第１のデジタル画像を受信すること、
   前記第１のデジタル画像の撮影時に前記画像センサの動作を表わす情報を受信すること、及び
   前記第１のデジタル画像を前処理することを含み、
   当該前処理は、鮮明化、トーンマッピング、ぼかし、及びＨＤＲ合成からなるグループから選択される少なくとも１つの前処理プロシージャを実行することを含み、
   前記前処理のパラメータのうち少なくとも１つが、動作を表わす前記情報に依存しており、
   （ｉ）前記画像センサの前記動作が所定の閾値を超える場合には、鮮明化、トーンマッピング、及びＨＤＲ合成から成るグループから選択される、ビットレートを増大させるであろう少なくとも１つの前処理プロシージャが無効化されるか、又は
   （ｉｉ）前記画像センサの前記動作が所定の閾値を超える場合には、ビットレートを増大させるであろう前処理プロシージャである鮮明化が、前記第１のデジタル画像を、前記動作が前記閾値以下であったとした場合より少なく処理するか、又は
   （ｉｉｉ）前記画像センサの前記動作が所定の閾値を超える場合には、ビットレートを低減させるであろう前処理プロシージャであるぼかしが、有効化されるか、又は
   （ｉｖ）前記画像センサの前記動作が所定の閾値を超える場合には、ビットレートを低減させるであろう前処理プロシージャであるぼかしが、前記第１のデジタル画像を、前記動作が前記閾値以下であったとした場合より多く処理する、方法。
2. 前記画像センサの動作を表わす前記情報は、前記画像センサのパン、チルト及び／又はズームの動作を制御するコントローラによって提供される、請求項１に記載の方法。
3. 前記画像センサの動作を表わす前記情報は、モーションセンサによって提供される、請求項１又は２に記載の方法。
4. 前記少なくとも１つのパラメータは、前記画像センサの予定された動作に対して複数のフレームに亘って修正される、請求項１から３のいずれか一項に記載の方法。
5. 前記画像センサの予定された動作に対して、前記第１のデジタル画像をイントラフレームとして符号化することをさらに含む、請求項１から４のいずれか一項に記載の方法。
6. 画像センサで撮影された入力画像を符号化のため前処理するためのデジタル画像前処理システムであって、前記システムは、
   第１のデジタル画像を受信するように配置された画像受信モジュール、
   前記第１のデジタル画像の撮影時の前記画像センサの動作を表わす情報を受信するように配置された動作情報受信モジュール、及び
   符号化の前に前記第１のデジタル画像を前処理するように配置された前処理モジュールを備え、
   前記前処理モジュールは、鮮明化、トーンマッピング、ぼかし、及びＨＤＲ合成からなるグループから選択される少なくとも１つの前処理プロシージャを実行するために配置されており、
   前記前処理のパラメータのうち少なくとも１つが、動作を表わす前記情報に依存しており、
   （ｉ）前記画像センサの前記動作が所定の閾値を超える場合には、鮮明化、トーンマッピング、及びＨＤＲ合成から成るグループから選択される、ビットレートを増大させるであろう少なくとも１つの前処理プロシージャが、無効化されるか、又は
   （ｉｉ）前記画像センサの前記動作が所定の閾値を超える場合には、ビットレートを増大させるであろう前処理プロシージャである鮮明化が、前記第１のデジタル画像を、前記動作が前記閾値以下であったとした場合より少なく処理するか、又は
   （ｉｉｉ）前記画像センサの前記動作が所定の閾値を超える場合には、ビットレートを低減させるであろう前処理プロシージャであるぼかしが、有効化されるか、又は
   （ｉｖ）前記画像センサの前記動作が、所定の閾値を超える場合には、ビットレートを低減させるであろう前処理プロシージャであるぼかしが、前記第１のデジタル画像を、前記動作が前記閾値以下であったとした場合より多く処理する、デジタル画像前処理システム。
7. 前記動作情報受信モジュールは、前記画像センサのパン、チルト及び／又はズームの動作を制御するコントローラ、並びに／又はモーションセンサに、通信可能に接続される、請求項６に記載のデジタル画像前処理システム。
8. 請求項６又は７に記載の前処理システムを備えるカメラ。
9. 処理能力を有するデバイスに、当該処理能力を有するデバイスのプロセッサによって実行されたときに請求項１から５のいずれか一項に記載の方法を実行させる命令を有するコンピュータ可読記憶媒体。

Images