JP4878843B2 - 画像のモザイクを処理するための方法および装置 - Google Patents

Description

本発明は、モザイクの視覚的レンダリングを向上させるために画像のモザイクを処理するための方法および装置に関する。

大画像を形成するためにソース画像を合成すること、いわゆるモザイク画像は画像処理では周知の技術である。この技術はとりわけ空間写真または空中写真の分野で使用される。これはまたマルチメディア分野（例えばパノラマショットの形成のために）でも使用され、また複数のプロジェクタを使用する大スクリーンビデオ投影の分野でも使用される。後者の例では、ソース画像のサイズがプロジェクタの投影能力に適合される。従ってこれらの小画像が結合され、スクリーンには大画像が表示される。複数の小型プロジェクタを使用することによりハードウエアのコストをとりわけ低減することができる。

従来技術によれば、これらのモザイク画像を形成するために使用される技術は、ソース画像を予わいする第1オプションステップを含む。このステップの目的は、全てのソース画像を1つの同じ幾何学的空間にもたらすことである。モザイク形成処理の第2ステップでは、オ―バラップする画像部分を混合する。モザイクを形成するために、オーバラップのない並置技術を使用することも可能であるが、本発明はこれに関連するものではない。

図1は4つのソース画像I1,I2,I3,I4を示す。各画像は2つの成分の和である。すなわちソース画像は信号Sとソースノイズnsからなる。図2に示されたモザイクはこれらの画像から形成される。この図は種々のゾーンを示す。第1ゾーン20は中央オーバラップゾーンであり、ここでは4つのソース画像がオーバラップする。ゾーン21，22，23および24は2つの画像がオーバラップするゾーンに相当する。従ってゾーン21は、画像I1とI2のオーバラップゾーンに相当する。ゾーン22は、画像I2とI4のオーバラップゾーンに相当する。ゾーン23は、画像I2とI4のオーバラップゾーンに相当する。最後にゾーン24は、画像I1とI3のオーバラップゾーンに相当する。ゾーン25，26および28はオーバラップしないソース画像の部分に相当する。

オーバラップゾーンでは、ソース画像の混合にもっとも単純な技術を使用する場合、混合すべき2つの画像が存在するときに（ゾーン21，22，23および24）、オーバラップゾーンにある2つのソース画像の和の半分を計算する。同じようにして、混合すべき4つの画像が存在するとき（ゾーン20）、最も簡単な技術ではオーバラップゾーンにある4つのソース画像の算術平均を計算する。

一般的には、オーバラップゾーン20，21，22，23および24にあるソース画像を混合する場合、2つの側面を考慮すべきである：すなわち、ソース画像信号Sとソースノイズnsである。従って画像I1内の座標x,yピクセルに関連するグレーレベルは：
I1(x,y,c)＝S1 (x,y,c) + ns1 (x,y,c)
である。ここでcは、考慮すべき色成分(例えば青、緑、または赤)である。

オーバラップゾーン21では平均画像ImがI1とI2の和の半分として生じる、すなわち：
Im (x,y,c) = Sm (x,y,c) + nm (x,y,c) = (I1 (x,y,c) + I2 (x,y,c)) / 2
であり、ここでSm (x,y,c) は、色成分cに対する座標(x,y)のピクセルに関連する平均画像信号であり、nm(x,y,c)は、色成分cに対する座標(x,y)のピクセルに関連する平均ノイズである。

この技術により、画像信号S1とS2の平均、すなわち、
Sm (x,y,c) = (S1 (x,y,c) + S2 (x,y,c)) / 2
が正しく計算される。画像が独立しており、従ってノイズが相関していなければ、ノイズの和は二次方程式である。このことは、加算されたノイズの和はもはや正しくないことを意味する。なぜなら、ns1=ns2であるとき係数√(2)により割り算されるからである。すなわち、
nm (x,y,c) = ns1 (x,y,c) / √(2)
である。

同じように、考察するゾーン20で4つの画像I1,I2,I3,I4がオーバラップすれば、生じる平均画像Imは次式のとおりである：
Im(x,y,c)=Sm(x,y,c)+nm(x,y,c)=(I1(x,y,c)+I2(x,y,c)+I3(x,y,c)+I4(x,y,c))/4
この場合も、画像信号S1,S2,S3,S4の平均は正しく計算される。しかし、加算されたノイズの振幅はもはや正しくない。なぜなら、ns1=ns2であるとき係数√(2)により割り算されるからである。すなわち、 ns1 =ns2 =ns3 =ns4である場合に、係数2により割り算されるからである。

オーバラップゾーンにわたって減衰されるノイズの振幅はこれらのゾーン(20，21，22，23，14)にわたって滑らかに出現し、そのためソース画像が完全ではなく、ノイズがまったくない場合、ノイズが可視的にレンダリングされる。この減衰現象は肉眼には、ノイズが表示される情報の優勢成分となるような均一画像ゾーンにおいてよりはっきりと知覚される。これはビデオにおいてもノイズの一時的成分のため同様である。

この現象は、4つのソース画像が重ね合わされるとき(ゾーン20)にさらに強調される。この場合、ノイズの振幅は2により割り算され、そのためソース画像との差をレンダリングすることがより可視的となる。

従ってオーバラップゾーンにあるソース画像を混合することにより引き起こされる重要な問題は、モザイクの表現が均一ではないことである。なぜならノイズの減衰係数がゾーンに依存すると見なされているからである。

本発明の課題は従来技術の欠点を克服することである。より具体的には本発明の課題は、モザイク画像の表現を、これを均一にすることより改善することである。

この課題を解決するために本発明は、少なくとも2つのソース画像が重ね合わされるオーバラップゾーンを形成する、ノイズのあるソース画像の処理方法を提案する。本発明によればこの方法は、オーバラップゾーンにランダムノイズを発生するステップを有し、これによりオ―バラップゾーンと、ソース画像が重ね合わされないゾーン(以下、非オーバラップゾーンと称する）とのあいだのノイズ偏差を少なくとも部分的に補償する。

本発明の実施例によれば、オーバラップゾーンにおいてソース画像は、混合すべきソース画像間の重み付けされた和によって混合される。

本発明の実施例によれば、オーバラップゾーンに対して使用される重み付け関数が、混合される1つの画像が空間的にオーバラップゾーンから離れるとき、当該画像の比率が低下するよう線形に変化する。

有利には、発生されるランダムノイズの統計的パラメータが非オーバラップゾーンにあるノイズのパラメータとオーバラップゾーンにあるノイズのパラメータに基づいて評価される。

実施例によれば、評価されるパラメータの1つはノイズの標準偏差である。

有利には、非オーバラップゾーンにあるノイズのパラメータがソース画像の均一ゾーンにわたって局所的に評価される。

本発明はまた、少なくとも2つのソース画像が重ね合わされるオーバラップゾーンを形成する、ノイズのあるソース画像のモザイクを処理する装置に関連する。

本発明によれば、この装置はモザイク発生手段を有し、さらに、
・オーバラップゾーンにあるランダムノイズの統計的パラメータと、非オーバラップゾーンにあるランダムノイズの統計的パラメータを評価する手段と、
・オーバラップゾーンにランダムノイズを、統計的パラメータに基づいて発生する手段とを有する。

画像モザイクの視覚的表現をさらに均一にするため、本発明では補正ノイズを、ソースノイズnsが減衰する個所に発生する。この個所はオーバラップゾーンである。発生されるノイズは、このゾーンにおけるソース画像の混合により生じるソースノイズ減衰と、ソースノイズの特性とに依存する。

この目的のために本発明は、第1ステップで初期モザイクを形成した後に、第2ステップでこのソース画像に存在するソースノイズnsの分析を行い、その特徴的パラメータ、例えば標準偏差を評価する。第3ステップでは、オーバラップゾーンに存在する平均ノイズnmの同じ特徴的パラメータを評価する。第4ステップでは、以前に評価したパラメータを補正ノイズの特徴的パラメータの評価に使用する。第5ステップでは、この評価されたパラメータを、ソースノイズが減衰した個所、すなわちオーバラップゾーンに補正ノイズを発生するために使用する。最終ステップでは、補正ノイズをオーバラップゾーンの初期モザイクに付加し、最終モザイクの空間的特性を均一にし、これによりソース画像に相応する非オーバラップゾーンと、平均画像に相応する種々のオーバラップゾーンとの間の知覚的偏りを低減する。

本発明による方法が図3に示されている。この方法は、図3に参照番号31〜36により示した6つのステップを有する。この図において、示されたモジュールは機能的ユニットであり、物理的に区別することのできるユニットに対応させてもよいし、対応させなくてもよい。たとえば、それらのモジュールまたはそれらのうちのいくつかをグループとして単一のコンポーネントにまとめることもできるし、あるいは同一の１つのソフトウェアにおける複数の機能を成すようにしてもよい。これとは逆に、いくつかのモジュールを複数の別個の物理的な実体によって構成してもよい。

本発明によれば第1ステップ31では、初期モザイクと称されるモザイクを、ソース画像30に基づいて形成する。このステップの間、モザイクのオーバラップゾーンも同定される。このオーバラップゾーンでは、ソース画像の混合が、混合すべき画像の重み付けされた和によって行われる。例えば画像の1つが空間的にここから去ろうとする場合、この画像の比率を下げることができる。従ってオーバラップゾーン21では、画像I1と、線形に左から右に変化する画像I2とを重み付けすることができる。このことは、オーバラップゾーンの左部分では画像I1をより重く考慮し、オーバラップゾーンの右部分では画像I2をより重く考慮することにより行われる。結果として、オーバラップゾーン21にあるピクセルは次の値を有する：
Im (x,y,c) = α(x)I1(x,y,c) + (1 - α(x))I2(x,y,c)
ここでα(x)は、図4の40に示すような重み付け関数である。この図で、XoとX1はオーバラップゾーン21の境界に位置するピクセルの横軸の値である。従って関数α(x)は、x=Xoであるとき、すなわちオーバラップゾーンの左境界に位置するピクセルに対して値1を取り、x=X1であるとき、すなわちオーバラップゾーンの右境界にあるピクセルに対して値ゼロを取る。

同様にオーバラップゾーン24では、画像I1と、線形に上部から下部に変化する画像I2とを重み付けすることができる。このことは、オーバラップゾーンの上方部分では画像I1をより重く考慮し、オーバラップゾーンの下方部分では画像I2をより重く考慮することにより行われる。前に説明したのと同じ形式の関数を使用することができる。

第2ステップ32の間に、ソースノイズnsの分析が統計的画像処理ツールによって実行される。最も簡単なアプローチでは、ソース画像30の局所的平均をローパスフィルタによって評価する。この平均はソース画像から減算され、これにより局所的に高周波を抽出する。一次近似として、この高周波はソースノイズnsと見なされる。従ってこの高周波に基づいて、ソースノイズnsの局所的な統計的特性を評価する。例えばソースノイズの標準偏差σsを3つの基本色(緑、青、赤)のそれぞれに対して評価する。標準偏差の評価はソース画像の均一なゾーンにわたって局所的に実行するか、または平均勾配を評価することのできるゾーンにわたって実行する。とりわけノイズを適切に評価するためには、ノイズだけを評価するために有効信号Sを破棄することのできる画像ゾーンにスタンドポイントを採用する必要がある。

本発明の実施例によれば、ソースノイズの空間的および/または時間的特性を考慮するより複雑なノイズモデルを使用することができる(例えば自己回帰モデル)。

第3ステップ33では、ソース画像の混合から生じた、標準偏差σmの平均ノイズnmを評価する。標準偏差σmは、評価された標準偏差σsのソースノイズに基づいて、オーバラップゾーンにある画像の混合がステップ31でのモザイク形成中に実行された(例えば重み付けされた和)ことを考慮して計算される。σmをオーバラップゾーンの均一ゾーンに基づいて、ステップ32でσsが評価されたのと同じようにして評価することもできる。

第4ステップ34では、ランダム補正ノイズncの特徴的パラメータを評価する。この評価は、ステップ32で評価されたソースノイズの特徴的パラメータ(例えばσs)と、ステップ33で評価された平均ノイズの特徴的パラメータ(例えばσm)を考慮して行われる。考慮される特徴的パラメータが標準偏差だけである簡単な場合、合成ノイズncの標準偏差を、評価された平均ノイズσmの標準偏差と最終ノイズの標準偏差σfとの間の相補的標準偏差として評価する。モザイクの視覚的表現を均一にするためには、最終ノイズが評価されたソースノイズと等しくなる必要がある。従って標準偏差σfは、評価されたソースノイズの標準偏差σsと等しい。さらに最終画像は、平均画像と発生された画像との和から形成される。ただし発生された画像は補正ノイズncの画像であるとする。このことは標準偏差レベルにおいて以下の関係により明白である：
σf^２ = σs^２ = σm^２ + σc^２
従って補正ノイズncの標準偏差σcは、σc = √(σs^２−σm^２) と見なされる。この演算は各色毎に実行しなければならない。これは局所的に実行することができる。

第5ステップ35では、標準偏差σcのノイズncがオーバラップゾーンにわたって発生される。

最終ステップ36で最終モザイク37が発生される。このために標準偏差σcの補正ノイズncがオーバラップゾーンにある初期モザイクに付加され、これにより視覚的に均一に出現する補正モザイクを獲得する。非オーバラップゾーン(25，26，27，28)では、最終モザイクは考慮されるゾーンに相応する初期画像のゾーンに等しい。従って最終画像のゾーン25は画像I1の一部に相応する。
より正確には補正されたモザイクの座標(x、y)のピクセルは次の値を取る：
ピクセルがゾーン25にある場合、I1 (x,y,c);
ピクセルがゾーン26にある場合、I2 (x,y,c);
ピクセルがゾーン27にある場合、I4 (x,y,c);
ピクセルがゾーン28にある場合、I3 (x,y,c);または
ピクセルがオーバラップゾーン20から24のいずれかにある場合、Im (x,y,c)。

付加的にモザイクの視覚的表現を均一にするこのステップの利点は、オーバラップゾーンにわたっる滑らかな出現を減少させることである。

本発明はまた、前に説明した方法を実現するための装置50に関連する。この装置の主要要素だけが図5に示されている。本発明による装置はとりわけメモリ52を有し、このメモリには種々のノイズ特性の評価値がモザイク補正のために格納されている。この装置はまたマイクロプロセッサ等であるプロセシングユニット53を有し、プロセシングユニット53は処理プログラム、とりわけノイズパラメータを評価するためのプログラムを有する。プロセシングユニット53はまたノイズを評価されたパラメータとメモリ52に格納されたパラメータに基づいて発生するための関数を有する。さらにこの装置は、入力ビデオ信号、とりわけモザイクを形成するのに用いるソース画像を受信するための入出力インタフェース51を有する。このインタフェースによってまた、処理されたビデオ信号、すなわち本発明の方法による採取モザイクをディスプレイ装置54に伝送することができる。

図1は、従来技術によるすでに説明した図であり、図2のモザイクを形成するために使用される4つのソース画像を示す図である。 図2はすでに説明したように、図1の4つのソース画像に基づき従来技術により形成されたモザイクを示す図であり、オーバラップゾーンと非オーバラップゾーンとを区別している。 図3は、モザイクの視覚的レンダリングを改善する本発明のよる画像処理方法を示す図である。 図4は、オーバラップゾーンでの2つの画像の混合中に使用される重み付け関数を示す図である。 図5は、モザイクの視覚的レンダリングを改善する本発明のよる画像処理装置を示す図である。

Claims (7)

1. ノイズのあるソース画像を処理する方法において、
   該ソース画像から、該ソース画像のうち少なくとも２つが混合されているオーバラップゾーンを表すモザイクを生成するステップ、
   前記ソース画像からのソースノイズの及び前記オーバラップゾーンからの平均ノイズの統計的な特徴パラメータを評価するステップ、
   前記特徴パラメータから補正ノイズの統計的な特徴パラメータを評価して、前記ソース画像が合成されない非オーバラップゾーンと前記オーバラップゾーンの間のノイズ偏差を少なくとも部分的に補償するステップ、
   評価した前記補正ノイズの統計的な特徴パラメータに基づいて補正ノイズを生成するステップ、及び、
   該補正ノイズを前記オーバラップゾーンに付加するステップ
   を有する方法。
2. 請求項１記載の方法において、前記モザイクを生成するステップにおいて、前記オーバラップゾーンで前記ソース画像は、混合すべきソース画像間の重み付けされた和によって混合される方法。
3. 請求項２記載の方法において、前記モザイクを生成するステップにおいて、オーバラップゾーンに対して使用される前記重み付けされた和の重みが前記オーバラップゾーンにおいて線形に変化して、混合された画像のうちの１つの比率が、該混合された画像中の画素の位置が前記混合された画像のうちの１つから離れるときに低下する方法。
4. 請求項１記載の方法において、前記統計的な特徴パラメータの１つはノイズの標準偏差である方法。
5. 請求項４記載の方法において、前記補正ノイズの標準偏差を、前記ソースノイズの分散と前記平均ノイズの分散との差分の平方根として求める方法。
6. 請求項１から５のいずれか１項記載の方法において、前記非オーバラップゾーンにあるノイズの統計的な特徴パラメータが、前記ソース画像の均一ゾーンにわたって局所的に評価される方法。
7. ノイズのあるソース画像を処理する装置において、
   該ソース画像から、該ソース画像のうち少なくとも２つが混合されているオーバラップゾーンを表すモザイクを生成する手段、
   前記ソース画像からのソースノイズの及び前記オーバラップゾーンからの平均ノイズの統計的な特徴パラメータを評価する手段、
   前記特徴パラメータから補正ノイズの統計的な特徴パラメータを評価する手段、
   評価した前記補正ノイズの統計的な特徴パラメータに基づいて補正ノイズを生成する手段、及び、
   該補正ノイズを前記オーバラップゾーンに付加する手段
   を有することを特徴とする装置。

Images