JP6814849B2 - 画像処理方法及び装置 - Google Patents

Description

本発明の実施例は、画像処理技術に関し、特に画像処理方法及び装置に関する。

光源が安定しない（例えば日常照明では、電源が交流であるため、光源の輝度は交流の振幅の変動に伴って変化する）ため、カメラ（デジタルカメラ、携帯電話のカメラなどを含む）で撮影されたビデオには、光源の変化に伴ってフレームとフレームとの間の明暗揺れひいては色揺れ現象が発生する。このような現象は、特に撮影フレームレート（ビデオを撮影する時に用いられるフレームレートで、ビデオを再生する時に用いられるフレームレートと区別するもの）が高フレームレート（毎秒２４０フレーム以上）であるビデオの場合に非常に顕著である。

現在、光源の周波数が６０Ｈｚで、フレームレートが毎秒２４０フレームであるビデオに対して、隣接する２つのフレームを重畳平均することによりビデオの輝度及び色揺れ現象を明らかに改善することができる。原理上、撮影フレームレートが光源の周波数の整数倍であるビデオであればいずれも隣接する複数のフレームを重畳する方法により輝度揺れ現象（ビデオの各フレームの画像の平均輝度又は画像における各画素の輝度がフレーム数の変化に伴って明暗揺れを起こす現象）及び色揺れ現象（各色チャネルの輝度揺れの不一致により色が輝度揺れに伴って変化する現象）を改善することができる。

しかしながら、該解決手段は、撮影フレームレートが光源の周波数の整数倍であるビデオのみに対して明らかな効果を有し、他のビデオに対して効果が明らかではない。また、該方法により処理されたビデオには、ビデオを撮影する時に高速移動物体が存在する場合、移動物体のゴーストが発生する。

本発明の実施例は、ビデオに存在する輝度又は色揺れを解消可能な画像処理方法及び装置を提供する。

（１）本発明の１つの実施例において、ビデオの各フレームの画像に対して輝度調整を行うことと、輝度調整された各フレームの画像に対してオフセット補償を行うことと、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うこととを含む画像処理方法を提供する。

（２）前記ビデオの各フレームの画像に対して輝度調整を行うことは、前記各フレームの画像に対して、赤色Ｒチャネル、緑色Ｇチャネル及び青色Ｂチャネルの３つの色チャネルの色平均値をそれぞれ統計する処理と、予め設定された第１のフィルタリングスキームを採用して、それぞれ各色チャネルの色平均値に基づいて対応する色チャネルに対して第１の時間領域フィルタリングを行う処理をそれぞれ行うことを含む（１）に記載の画像処理方法。

（３）前記輝度調整された各フレームの画像に対してオフセット補償を行うことは、予め設定されたオフセット補償アルゴリズムを採用して、輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得し、前記オフセットを補償することにより、前記ビデオの任意の隣接する２つのフレームの画像の同じ画像座標での画像コンテンツを一致させることを含む（１）に記載の画像処理方法。

（４）前記オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うことは、予め設定された第２のフィルタリングスキームを採用して各フレームのビデオ画像における各画素に対して第２の時間領域フィルタリングを行うことにより、現フレームの画像と現フレームより前のフレームの画像との線形重畳を行うことを含む（１）に記載の画像処理方法。

（５）輝度調整された各フレームの画像に対してオフセット補償を行った後、画像に移動物体が含まれるか否かを判断することをさらに含む（３）に記載の画像処理方法。

（６）前記画像に移動物体が含まれるか否かを判断することは、現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第１のブロック化画像を取得することと、予め設定された差異計算アルゴリズムに基づいて、前記現フレームの画像と前記直前フレームの画像の対応する２つの第１のブロック化画像の差異をそれぞれ計算することと、前記２つの第１のブロック化画像の差異を予め設定された差異閾値と比較することと、前記２つの第１のブロック化画像の差異が前記差異閾値以上である場合、前記２つの第１のブロック化画像が類似しないと判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれると判定し、前記２つの第１のブロック化画像の差異が前記差異閾値より小さい場合、前記２つの第１のブロック化画像が類似すると判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における、対応する画像領域に移動物体が含まれないと判定することとを含む（５）に記載の画像処理方法。

（７）前記輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得することは、輝度調整された現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第２のブロック化画像を取得することと、前記現フレームの画像と前記直前フレームの画像における対応する２つの第２のブロック化画像間のオフセットをそれぞれ計算することと、前記複数の第２のブロック化画像から移動物体を含む第２のブロック化画像を排除し、残りの第２のブロック化画像のオフセットの平均値を前記現フレームの画像と前記直前フレームの画像との間のオフセットとすることとを含む（３）に記載の画像処理方法。

（８）いずれかのフレームの画像に移動物体が含まれると判断した後、前記移動物体が含まれる画像領域の画素値が１で、前記移動物体が含まれない画像領域の画素値が０である該フレームの画像のマスク画像を生成することと、予め設定された融合アルゴリズムに基づいて、前記マスク画像を用いて、画素に前記時間領域フィルタリングが行われた対応するフレームの画像と、画素に時間領域フィルタリングが行われなかった対応するフレームの画像とを融合させることにより、前記移動物体が含まれる前記画像領域を保持することとをさらに含む（６）に記載の画像処理方法。

（９）融合した各フレームの画像に対して空間領域フィルタリングを行うことをさらに含むことを特徴とする（８）に記載の画像処理方法。

（１０）本発明の別の実施例において、プロセッサと、命令が記憶されているコンピュータ可読記憶媒体とを含む画像処理装置であって、前記プロセッサにより前記命令が実行されると、（１）〜（９）のいずれか１項に記載の画像処理方法が実現されることを特徴とする画像処理装置を提供する。

本発明の実施例は、ビデオの各フレームの画像に対して輝度調整を行うことと、輝度調整された各フレームの画像に対してオフセット補償を行うことと、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うこととを含む。該実施例の解決手段によれば、ビデオに存在する輝度又は色揺れを効果的に解消する。

本発明の実施例の他の特徴及び利点は以下の明細書に説明され、かつ、部分的に明細書から明らかになるか、又は本発明を実施することにより理解される。本発明の実施例の目的及び他の利点は、明細書、特許請求の範囲及び図面に特に指摘された構造により実現することができる。

図面は、本発明の技術的解決手段をさらに理解するためのものであり、かつ明細書の一部を構成し、本願の実施例と共に本発明の技術的解決手段を解釈するためのものであり、本発明の技術的解決手段を限定するものではない。

本発明の実施例に係る画像処理方法のフローチャートである。 本発明の実施例に係るビデオの各フレームの画像に対して輝度調整を行う方法のフローチャートである。 本発明の実施例に係る輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得する方法のフローチャートである。 本発明の実施例に係る画像に移動物体が含まれるか否かを判断する方法のフローチャートである。 本発明の実施例に係る移動物体が含まれる画像を画像融合させる方法のフローチャートである。 本発明の実施例に係るビデオ画像が縮小された上でビデオ画像を処理する方法のフローチャートである。 本発明の実施例に係る画像処理装置の構成を示すブロック図である。

本発明の目的、技術的解決手段及び利点をより明らかにするために，以下、図面を参照しながら本発明の実施例を詳細に説明する。なお、本願における実施例と実施例における特徴は、矛盾しない限り、互いに任意に組み合わせることができる。

図面のフローチャートに示されるステップは、一組のコンピュータ実行可能な命令を含むコンピュータシステムにおいて実行することができる。かつ、フローチャートにおいて論理的な順序が示されるが、いくつかの場合では、それとは異なる順序で、示されるか又は説明されるステップを実行してもよい。

（実施例１）
画像処理方法は、図１に示すように、Ｓ１０１〜Ｓ１０３を含むことができる。

Ｓ１０１、ビデオの各フレームの画像に対して輝度調整を行う。

Ｓ１０２、輝度調整された各フレームの画像に対してオフセット補償を行う。

Ｓ１０３、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行う。

本発明の実施例において、ビデオの各フレームの画像に対して、まず全体の輝度調整を行い、その後に画像マッチングを実施し、すなわち輝度調整された各フレームの画像に対してオフセット補償を行い、画像マッチングの結果に基づいて時間領域フィルタリングを行って、高速撮影ビデオの変動光源下で発生する輝度揺れ現象を効果的に低減し、ビデオに存在する輝度又は色揺れを解消する。

本発明の実施例において、具体的な輝度調整、画像マッチング及び時間領域フィルタリングの方法、アルゴリズム及び装置はいずれも制限されず、異なる応用シーンに基づいて、従来の任意の方法、アルゴリズム又は装置により実現することができる。

なお、本発明の実施例において、該実施例の解決手段は、高フレームレート（例えば毎秒２４０フレーム以上のフレームレート）に適用することができ、フレームレートが毎秒２４０フレーム以上、毎秒９６０フレーム以下のビデオを含むが、それらに限定されない。光源の周波数は、６０ＨＺ及び５０ＨＺを含むが、それらに限定されない。本発明の実施例の解決手段を採用可能な任意のビデオはいずれも本発明の実施例の保護範囲内にある。

（実施例２）
該実施例は実施例１を基に、輝度調整の具体的な実施形態を示す。

本発明の実施例において、図２に示すように、前記ビデオの各フレームの画像に対して輝度調整を行うことは、前記各フレームの画像に対して以下のステップＳ２０１〜Ｓ２０２の処理をそれぞれ行うことを含むことができる。

Ｓ２０１、それぞれ赤色Ｒチャネル、緑色Ｇチャネル及び青色Ｂチャネルの３つの色チャネルの色平均値を統計する。

Ｓ２０２、予め設定された第１のフィルタリングスキームを採用して、それぞれ各色チャネルの色平均値に基づいて、対応する色チャネルに対して第１の時間領域フィルタリングを行う。

本発明の実施例において、各フレームの画像に対して、３つの色チャネルの色平均値をそれぞれ統計し、現フレームの画像のＲＧＢの３つの色チャネルの色平均値をそれぞれＲ_ｔ、Ｇ_ｔ、Ｂ_ｔとする。予め設定された第１のフィルタリングスキームを採用して、それぞれ３つの色チャネルの色平均値に対して第１の時間領域フィルタリングを行うことができる。

本発明の実施例において、該第１のフィルタリングスキームは、有限インパルス応答フィルタ又は無限インパルス応答フィルタを含むが、それらに限定されない。

本発明の実施例において、ここでＲ_ｔを例としてどのように有限インパルス応答フィルタにより時間領域フィルタリングを行うかを説明する。現フレームの画像よりｉフレーム前の画像のＲチャネルの色平均値をＲ_ｔ−ｉとし、Ｒチャネルの色平均値に対する時間領域フィルタリングは、以下の関係式で説明することができる。

ここで、Ｒ_{ｔ_ｔｆ}はＲチャネルの時間領域フィルタリングの結果であり、β_ｉはフィルタリング係数である。ω＝Ｒ_{ｔ_ｔｆ}／Ｒ_ｔとし、現フレームの画像における各画素のＲチャネルの画素値にωを乗算し、該フレームの画像における各画素のＲチャネルの画素値とする。

本発明の実施例において、他のチャネル（Ｇチャネル及びＢチャネル）に対して同様の処理を行うことにより、現フレームの画像における各画素の各色チャネルの色平均値に対する時間領域フィルタリングを実現し、また、時間領域フィルタリングした結果を利用して各画素の各色チャネルの画素値を調整し、それによりビデオの各フレームの画像に対する輝度調整を実現し、ここで重複説明を省略する。

（実施例３）
該実施例は実施例１又は実施例２を基に、画像マッチングの具体的な実施形態を示す。

本発明の実施例において、前記輝度調整された各フレームの画像に対してオフセット補償を行うことは、予め設定されたオフセット補償アルゴリズムを採用して、輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得し、前記オフセットを補償することにより、前記ビデオの任意の隣接する２つのフレームの画像の同じ画像座標での画像コンテンツを一致させることを含むことができる。

本発明の実施例において、カメラのぶれ（例えば手でカメラを持つ時の手ぶれによるカメラのぶれ）に起因し、現フレームの画像は直前フレームの画像に対して一定のオフセットを有し、このように２つのフレームの画像の同じ画像座標での画像コンテンツが一致しないことを引き起こし、このような現象は後続の画像の時間領域フィルタリングに悪影響を与える。オフセットの他にカメラの回転が存在する可能性もあるが、隣接する２つのフレームの画像のみを考慮すれば、カメラの回転を無視することができる。画像マッチングの目的は画像間のオフセットを見つけ、オフセットの補償により、画像コンテンツが一致しないという現象を解消することである。

本発明の実施例において、ビデオの任意の隣接する２つのフレームの画像の同じ画像座標での画像コンテンツが一致することは、任意の隣接する２つのフレームの画像の間では、画像コンテンツが同じである任意の２つの領域の同じ画像座標での位置が同じであるか、又は、位置の偏差量が予め設定された偏差閾値以下であることを指すことができる。

本発明の実施例において、該オフセット補償アルゴリズムは、テンプレートマッチングアルゴリズム及び／又は特徴点に基づくマッチングアルゴリズムを含むが、それらに限定されず、以下、それぞれ２種類のオフセット補償アルゴリズムを詳細に説明する。

本発明の実施例において、最も簡単なオフセット補償アルゴリズムは典範的なテンプレートマッチングアルゴリズムであってもよい。その基本原理を以下のように簡単に説明することができる。参照画像からテンプレート画像の大きさと同じ領域を切り出して、切り出し画像とし、テンプレート画像を切り出し画像と比較して、それらの差異を計算する。そのうち、画像の差異を評価する技術指標は、正規化相互相関、平均絶対差、誤差二乗和及び絶対誤差和などを含むが、それらに限定されない。切り出し画像の参照画像における開始位置の範囲を人為的に設定し、この範囲内の全ての切り出し画像とテンプレート画像との差異を計算し、最小差異に対応する切り出し画像の開始位置をテンプレート画像及び参照画像のオフセットとすることができる。

本発明の実施例において、特徴点に基づくマッチングアルゴリズムの基本原理を以下のように簡単に説明することができる。マッチング対象の２つの画像から特徴点をそれぞれ抽出し、特徴点マッチングアルゴリズムにより特徴点マッチングペアを求め、これらの特徴点マッチングペアに基づいて２つの画像間のオフセットを計算する。

本発明の実施例において、特徴点を抽出するアルゴリズムも複数種あり、例えば、典範的なＳＩＦＴアルゴリズム（ＳＩＦＴ、すなわちＳｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）、ＨＡＲＲＩＳアルゴリズムなどを含むが、それらに限定されない。

本発明の実施例において、特徴点マッチングアルゴリズムはＳＩＦＴアルゴリズム、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ、スピードアップロバスト特性）アルゴリズムなどを含むが、それらに限定されない。

本発明の実施例において、これらの特徴点マッチングに基づいて２つの画像間のオフセットを計算する他、特徴点のオプティックフローを求め（例えば、典範的なＬｕｃａｓ−Ｋａｎａｄｅアルゴリズムを採用する）、異常なオプティックフローを排除する（簡単な方法としては、１つの閾値を設定し、この閾値以上のオプティックフローを異常なオプティックフローとし、この閾値未満のオプティックフローを非異常オプティックフローとする）ことにより、残りの特徴点のオプティックフローを平均して画像全体のオフセットとすることができる。

（実施例４）
該実施例は実施例３を基に、移動物体のオフセット補償過程への影響を解消するために、画像のオフセットを取得する別の具体的な実施形態を示す。

本発明の実施例において、図３に示すように、前記輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得することは、以下のＳ３０１〜Ｓ３０３を含むことができる。

Ｓ３０１、輝度調整された現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第２のブロック化画像を取得する。

Ｓ３０２、前記現フレームの画像と前記直前フレームの画像における対応する２つの第２のブロック化画像間のオフセットをそれぞれ計算する。

Ｓ３０３、前記複数の第２のブロック化画像から移動物体を含む第２のブロック化画像を排除するとともに、残りの第２のブロック化画像のオフセットの平均値を前記現フレームの画像と前記直前フレームの画像との間のオフセットとする。

本発明の実施例において、移動物体のオフセット補償への影響を解消するために、まず画像をブロック化し、各画像ブロック（すなわち、上記第２のブロック化画像）に対応するオフセットをそれぞれ計算し、次に移動物体の影響を受ける画像ブロックを排除し、その他の画像ブロックのオフセットの平均値を求めて画像全体のオフセットとする。

（実施例５）
該実施例は実施例３又は実施例４を基に、オフセット補償されたビデオに対してさらなる時間領域フィルタリングを行う具体的な実施形態を示す。

本発明の実施例において、前記オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うことは、予め設定された第２のフィルタリングスキームを採用して、各フレームのビデオ画像における各画素に対して第２の時間領域フィルタリングを行うことにより、現フレームの画像と現フレームより前の画像との線形重畳を行うことを含むことができる。

本発明の実施例において、該ステップにおける時間領域フィルタリング（すなわち第２の時間領域フィルタリング）はステップＳ１０１における時間領域フィルタリング（すなわち第１の時間領域フィルタリング）と類似し、相違点は該ステップにおいて各画素毎に時間領域フィルタリングを行うことである。

なお、本発明の実施例において、該第１の時間領域フィルタリング及び第２の時間領域フィルタリングは２つの異なるステップにおける時間領域フィルタリングを区別するためのものに過ぎず、２回の時間領域フィルタリングの具体的なスキーム及び実施順序などを制限するためのものではない。第１の時間領域フィルタリングと第２の時間領域フィルタリングは同じ又は異なる時間領域フィルタリングスキームを採用することができる。

本発明の実施例において、該第２のフィルタリングスキームは、有限インパルス応答フィルタ又は無限インパルス応答フィルタを含むが、それらに限定されない。

本発明の実施例において、以下、有限インパルス応答フィルタによるフィルタリングを例として詳細に説明する。具体的には、有限インパルス応答フィルタによるフィルタリングは、下記関係式で実現することができる。

ここで、Ｉ_ｔは現フレームの画像であり、Ｉ_ｔ−ｉは現フレームの画像よりｉフレーム前の画像であり、Ｉ_１はビデオの第１のフレームの画像であり、Ｉ_{ｔ_ｔｆ}は時間領域フィルタリングの結果であり、（ｘ、ｙ）は画像画素座標であり、α_ｉはフィルタリング係数である。

本発明の実施例において、ビデオの各フレームのフレーム画像に対して時間領域フィルタリングを行い、フィルタリングした結果は現フレームの画像と過去フレームの画像（すなわち現フレームより前の画像）との線形重畳である。

（実施例６）
該実施例は実施例３又は実施例４を基に、ビデオ中の移動物体がぼやけないか又はゴースト現象が発生しないように、かつ、上記実施例の４種類の解決手段を円滑に実施するように、画像に移動物体が含まれるか否かを判断する実施例の解決手段を示し、具体的な実施形態を示す。

本発明の実施例において、前記方法は、輝度調整された各フレームの画像に対してオフセット補償を行った後、画像における移動物体を判断することをさらに含むことができる。

本発明の実施例において、図４に示すように、前記画像に移動物体が含まれるか否かを判断することは、以下のＳ４０１〜Ｓ４０４を含むことができる。

Ｓ４０１、現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第１のブロック化画像を取得する。

Ｓ４０２、予め設定された差異計算アルゴリズムに基づいて、前記現フレームの画像と前記直前フレームの画像における対応する２つの第１のブロック化画像の差異をそれぞれ計算する。

Ｓ４０３、前記２つの第１のブロック化画像の差異を予め設定された差異閾値と比較する。

Ｓ４０４、前記２つの第１のブロック化画像の差異が前記差異閾値以上である場合、前記２つの第１のブロック化画像が類似しないと判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれると判定し、前記２つの第１のブロック化画像の差異が前記差異閾値より小さい場合、前記２つの第１のブロック化画像が類似すると判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれないと判定する。

本発明の実施例において、現フレームの画像と直前フレームの画像を比較する前に、まず現フレームの画像と直前フレームの画像をブロック化し、各小ブロック内で、現フレームの画像と直前フレームの画像との間の差異を計算し（該差異の取得は、正規化相互相関、平均絶対差、誤差二乗和及び絶対誤差和などのアルゴリズムで実現されてもよいがそれらに限定されない）、この２つのフレームの画像がこの小ブロック内で類似するか否かを判断するための１つの閾値を予め設定することができ、差異が該閾値以上である場合に類似しないと判断し、そうでない場合に類似すると判断することができる。判断結果が類似しないことを示す場合、該領域に移動物体が含まれると判断することができ、そうでない場合に該領域に移動物体が含まないと判断することができる。

なお、本発明の実施例において、該実施例における第１のブロック化画像と前述の実施例における第２のブロック化画像は２つの異なる呼称又は符号に過ぎず、異なる目的のための２回のブロック化動作において取得されたブロック化画像を主に区別し、混乱を避けるためのものであり、いかなる順番、大きさなどの属性の区別もない。

なお、本発明の実施例において、該ステップは、輝度調整された各フレームの画像に対してオフセット補償を行った後に行ってもよいし、輝度調整された各フレームの画像に対してオフセット補償を行う前に行ってもよく、その具体的な実施時間及び順序を詳細に制限しない。

（実施例７）
該実施例は実施例６を基に、ビデオ中の移動物体がぼやけないか又はゴースト現象が発生しないように、さらなる具体的な実施形態を示す。

本発明の実施例において、図５に示すように、該方法はさらにＳ５０１〜Ｓ５０２を含むことができる。

Ｓ５０１、いずれかのフレームの画像に移動物体が含まれると判断した後、前記移動物体が含まれる画像領域の画素値が１で、前記移動物体が含まれない画像領域の画素値が０である該フレームの画像のマスク画像を生成する。

Ｓ５０２、予め設定された融合アルゴリズムに基づいて、前記マスク画像を用いて、画素に前記時間領域フィルタリング（すなわち第２の時間領域フィルタリング）が行われた対応するフレームの画像と、画素に時間領域フィルタリング（すなわち第２の時間領域フィルタリング）が行われなかった対応するフレームの画像とを融合させることにより、前記移動物体が含まれる前記画像領域を保持する。

本発明の実施例において、いずれかのフレームの画像に移動物体が含まれると判断した場合、該運動画像の、二値画像であるマスク画像Ｍ_ｔを１つ生成してよく、そのうち、移動物体がある領域の画素値が１であり、移動物体がない領域の画素値が０である。

本発明の実施例において、移動物体判断の結果に基づいて、マスク画像Ｍ_ｔを用いて、時間領域フィルタリングを経た対応するフレームの画像と、画素に時間領域フィルタリングが行われなかった対応するフレームの画像とを融合させることにより、移動物体が含まれる画像領域を保持することができ、それにより時間領域フィルタリングによる移動物体のぼやけ、ゴーストなどの現象を解消する。

本発明の実施例において、画素に前記時間領域フィルタリング（すなわち第２の時間領域フィルタリング）が行われた対応する当該フレーム画像、及び、画素に時間領域フィルタリングが行われなかった対応する当該フレーム画像は、いずれも上記マスク画像に対応するフレームの画像を指す。

本発明の実施例において、該マスク画像Ｍ_ｔに基づいて下記関係式で画像融合を実現することができる。

ここで、Ｉ_ｂは融合された結果であり、Ｉ_{ｔ_ｔｆ}は画像の時間領域フィルタリングの結果であり、Ｉ_ｔは現フレームの画像であり、ｘ、ｙは画像の座標である。

本発明の実施例において、上記関係式により、時間領域フィルタリングが行われた現フレームの画像と時間領域フィルタリングが行われなかった現フレームの画像との簡単な重ね合わせを実現することができ、すなわち移動物体が含まれる領域は現フレームの画像の画素値を採用するのに対し、移動物体が含まれない領域は時間領域フィルタリングが行われて得られた結果の画素値を採用する。

本発明の実施例において、該予め設定された融合アルゴリズムは、典範的なラプラシアンピラミッド融合アルゴリズムをさらに含むことができる。

本発明の実施例において、典範的なラプラシアンピラミッド融合アルゴリズムの基本原理は以下のとおりである。まず一連のぼやけた画像Ｇ_０、Ｇ_１…Ｇ_ｎを生成し、ここでＧ_０が原画像であり、後の各層の画像Ｇ_ｉはいずれも上層の画像Ｇ_ｉ−１に対して畳み込みブラー（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｂｌｕｒｒｉｎｇ）及びダウンサンプリングを行うことにより生成され、例えばＧ_１はＧ_０に対して畳み込みブラー及びダウンサンプリングを行うことにより得られ、畳み込みブラーカーネルは一般的にガウシアンカーネルが用いられるため、この一連の画像はガウシアンピラミッドとも呼ばれる。ぼやけた画像シーケンスがガウシアンブラーカーネルによって生成されない場合があるが、説明を簡単にするために、ここでぼやけた画像Ｇ_０、Ｇ_１…Ｇ_ｎのシーケンスをガウシアンピラミッドで表す。ラプラシアンピラミッドをＬ_０、Ｌ_１…Ｌ_ｎと表記する場合、ラプラシアンピラミッドの各層の画像は、Ｌ_ｉ＝Ｇ_ｉ-ｅｘｐａｎｄ（Ｇ_ｉ＋１）という等式により得られてよい。ここでｅｘｐａｎｄ関数はアップサンプリングとして理解することができる。すなわち、ラプラシアンピラミッドの各層は、いずれもガウシアンピラミッドにおける該層に対応する画像からガウシアンピラミッドにおける次の層の画像のアップサンプリングされた画像を減算して得られる。最後の層Ｌ_ｎ＝Ｇ_ｎに注意すべきである。ラプラシアンピラミッドにより画像を再構成することは上記過程の逆過程である。したがって、ラプラシアンピラミッドにより融合するステップを以下のように説明する。

１、時間領域フィルタリングの結果Ｉ_{ｔ_ｔｆ}と現フレームＩ_ｔに対してラプラシアンピラミッドを構築し、それぞれＬＩ_{ｔ_ｔｆ}とＬＩ_ｔとする。

２、マスク画像Ｍ_ｔに対してガウシアンピラミッドを構築し、ＧＭ_ｔと記す。

３、新たなラプラシアンピラミッドＬＳを構築する。

ここでｌはピラミッドの層数の下付き文字であり、正整数であり、ｘ，ｙは画像の座標である。

４、ＬＳ再構成画像により結果画像を得る。

（実施例８）
該実施例は実施例７を基に、以上のステップを経て残された残像を除去するために、さらなる具体的な実施形態を示す。

本発明の実施例において、前記方法は、融合された各フレームの画像に対して空間領域フィルタリングを行うことをさらに含むことができる。

本発明の実施例において、時間領域フィルタリングとは、フレームとフレームとの間のフィルタリングであり、空間領域フィルタリングとは、単一のフレームの画像をフィルタリングすることを指し、主な目的は以上のステップを経て残された残像を除去することである。

本発明の実施例において、空間領域フィルタリング方法は、例えばガイデットフィルタ（ｇｕｉｄｅｄ ｆｉｌｔｅｒ）、バイラテラルフィルタ（ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）などのエッジ保存フィルタ（ｅｄｇｅ ｐｒｅｓｅｒｖｅｄ ｆｉｌｔｅｒ）を含むが、それらに限定されない。画像融合の結果に対して画像の空間領域フィルタリングを行って最終的な結果を得る。

（実施例９）
該実施例は上記任意の実施例を基に、ビデオ画像を縮小した上でビデオ画像を処理する具体的な実施形態を示す。

本発明の実施例において、実施例９は実施例１〜８の主なフローと基本的に一致し、主な相違点は実施例９における大部分の動作が小画像上で行われることである。そのフローチャートを図６に示す。具体的には以下のとおりである。全体の輝度調整を行った後に画像を縮小し、全体の輝度調整が行われた画像をＩ_ｏと表記し、Ｉ_ｏを縮小した画像をＩ_ｓと表記する。その後にＩ_ｓに対して画像位置合わせ（すなわちオフセット補償）、第２の時間領域フィルタリング、移動物体の判断、画像融合、空間領域フィルタリングを行い（これらのステップは実施例１〜８と同じであり）、結果をＩ_ｓｆと記す。これにより差異画像ΔＩ_ｓを求めることができる。

ここでｘ，ｙは画像の座標である。その後、差異画像ΔＩ_ｓをＩ_ｏと同じサイズに拡大し、拡大された差異画像ΔＩを得、ΔＩをＩ_ｏに重ね合わせて最終的な結果Ｉ_ｒを得る。ここで、ｘ，ｙは画像の座標である。

本発明の実施例において、縮小された画像上で大部分の処理を行い、次に処理後の結果と処理前の小画像の差異画像を拡大して大画像に応用し、該実施例の解決手段は効果を保証する前提で演算時間を大幅に短縮することができる。

（実施例１０）
画像処理装置１は、図７に示すように、プロセッサ１１と、前記プロセッサ１１により実行されると、上記いずれか１つの実施例に記載の画像処理方法を実現する命令が記憶されているコンピュータ可読記憶媒体１２とを含む。

本発明の実施例は、ビデオの各フレームの画像に対して輝度調整を行うことと、輝度調整された各フレームの画像に対してオフセット補償を行うことと、オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うこととを含む。該実施例の解決手段によれば、ビデオに存在する輝度又は色揺れを効果的に解消し、移動物体を良好に保持することにより、ぼやけず、残像又はゴーストがない。

本発明の実施例において開示される技術は、静止画像、動態画像（例えばビデオ）に適用することができ、例えばデジタルカメラ、携帯電話、集積デジタルカメラを有する電子機器、安全又はビデオ監視システム、医療撮像システムなどの如何なる適切なタイプの画像処理装置にも適用することができる。

（ハードウェアとの結合）
当業者であれば理解されるように、本明細書に開示された方法における全部又はいくつかのステップ、システム、装置における機能モジュール／ユニットはソフトウェア、ファームウェア、ハードウェア及びそれらの適切な組み合わせとして実施されてもよい。ハードウェアの実施形態において、以上の説明で言及した機能モジュール／ユニットの間の分割は必ずしも物理コンポーネントの分割に対応するとは限らず、例えば、１つの物理コンポーネントは複数の機能を有してもよいか、又は１つの機能又はステップは複数の物理コンポーネントが協力して実行してもよい。いくつかのコンポーネント又は全てのコンポーネントは、デジタル信号プロセッサ又はマイクロプロセッサのようなプロセッサにより実行されるソフトウェアとして実施されてもよいか、又はハードウェアとして実施されてもよいか、又は特定用途向け集積回路のような集積回路として実施されてもよい。このようなソフトウェアは、コンピュータ記憶媒体（又は非一時的な媒体）及び通信媒体（又は一時的な媒体）を含むことができるコンピュータ可読媒体に分布することができる。当業者に周知のように、用語のコンピュータ記憶媒体は情報（コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなど）を記憶するための任意の方法又は技術において実施される揮発性及び不揮発性、リムーバブル及び非リムーバブル媒体を含む。コンピュータ記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多機能ディスク（ＤＶＤ）又は他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又は所望の情報を記憶し、かつコンピュータによりアクセス可能な任意の他の媒体を含むが、それらに限定されない。また、当業者に周知のように、通信媒体は、一般的にコンピュータ可読命令、データ構造、プログラムモジュール、又は搬送波又は他の伝送メカニズムのような変調データ信号中の他のデータを含み、かついかなる情報配信媒体を含むことができる。

Claims (10)

1. ビデオの各フレームの画像に対して輝度調整を行うことと、
   輝度調整を行った後、各フレームの画像に対して縮小処理を行うことと、
   輝度調整された各フレームの縮小された画像に対してオフセット補償を行うことと、
   オフセット補償された各フレームの縮小された画像の画素に対して時間領域フィルタリングを行うこととを含む画像処理方法。
2. 前記ビデオの各フレームの画像に対して輝度調整を行うことは、
   前記各フレームの画像に対して、
   赤色Ｒチャネル、緑色Ｇチャネル及び青色Ｂチャネルの３つの色チャネルの色平均値をそれぞれ統計する処理と、
   予め設定された第１のフィルタリングスキームを採用して、それぞれ各色チャネルの色平均値に基づいて対応する色チャネルに対して第１の時間領域フィルタリングを行う処理とをそれぞれ行うことを含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記輝度調整された各フレームの画像に対してオフセット補償を行うことは、予め設定されたオフセット補償アルゴリズムを採用して、輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得し、前記オフセットを補償することにより、前記ビデオの任意の隣接する２つのフレームの画像の同じ画像座標での画像コンテンツを一致させることを含むことを特徴とする請求項１に記載の画像処理方法。
4. 前記オフセット補償された各フレームの画像の画素に対して時間領域フィルタリングを行うことは、予め設定された第２のフィルタリングスキームを採用して、各フレームのビデオ画像における各画素に対して第２の時間領域フィルタリングを行うことにより、現フレームの画像と現フレームの前に位置するフレームの画像との線形重畳を行うことを含むことを特徴とする請求項１に記載の画像処理方法。
5. 輝度調整された各フレームの画像に対してオフセット補償を行った後、画像に移動物体が含まれるか否かを判断することをさらに含むことを特徴とする請求項３に記載の画像処理方法。
6. 前記画像に移動物体が含まれるか否かを判断することは、
   現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第１のブロック化画像を取得することと、
   予め設定された差異計算アルゴリズムに基づいて、前記現フレームの画像と前記直前フレームの画像における対応する２つの第１のブロック化画像の差異をそれぞれ計算することと、
   前記２つの第１のブロック化画像の差異を予め設定された差異閾値と比較することと、
   前記２つの第１のブロック化画像の差異が前記差異閾値以上である場合、前記２つの第１のブロック化画像が類似しないと判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれると判定し、前記２つの第１のブロック化画像の差異が前記差異閾値より小さい場合、前記２つの第１のブロック化画像が類似すると判定するとともに、前記２つの第１のブロック化画像の、前記現フレームの画像と前記直前フレームの画像における対応する画像領域に移動物体が含まれないと判定することとを含むことを特徴とする請求項５に記載の画像処理方法。
7. 前記輝度調整されたビデオの任意の隣接する２つのフレームの画像間のオフセットを取得することは、
   輝度調整された現フレームの画像と直前フレームの画像をそれぞれブロック化して、複数の第２のブロック化画像を取得することと、
   前記現フレームの画像と前記直前フレームの画像における対応する２つの第２のブロック化画像間のオフセットをそれぞれ計算することと、
   前記複数の第２のブロック化画像から移動物体を含む第２のブロック化画像を排除し、残りの第２のブロック化画像のオフセットの平均値を前記現フレームの画像と前記直前フレームの画像との間のオフセットとすることとを含むことを特徴とする請求項３に記載の画像処理方法。
8. いずれかのフレームの画像に移動物体が含まれると判断した後、前記移動物体が含まれる画像領域の画素値が１で、前記移動物体が含まれない画像領域の画素値が０である該フレームの画像のマスク画像を生成することと、
   予め設定された融合アルゴリズムに基づいて、前記マスク画像を用いて、画素に前記時間領域フィルタリングが行われた対応するフレームの画像と、画素に時間領域フィルタリングが行われなかった対応するフレームの画像とを融合させることにより、前記移動物体が含まれる前記画像領域を保持することとをさらに含むことを特徴とする請求項６に記載の画像処理方法。
9. 融合された各フレームの画像に対して空間領域フィルタリングを行うことをさらに含むことを特徴とする請求項８に記載の画像処理方法。
10. プロセッサと、命令が記憶されているコンピュータ可読記憶媒体とを含む画像処理装置であって、
    前記プロセッサにより前記命令が実行されると、請求項１〜９のいずれか１項に記載の画像処理方法が実現されることを特徴とする画像処理装置。

Images