JP5527781B2 - 画質を向上させる方法 - Google Patents

Description

本発明は、センサと電子シャッタを用いて撮影する写真画像に関する。本発明は、低光量条件で、かつ、高開口率の光学素子がない場合の撮影に使用することができる。

今日では、携帯電話などの別の機器に取り付け可能なあるいは内蔵されて、様々な対象の写真を撮ることができる小型移動式写真装置が広く普及している。低光量条件用の高開口率の光学素子は、サイズ及び重量の制限が厳しいため、このような装置に使用することができない。

高開口率の光学素子が適用されない場合に低光量条件で撮影するには二つの方法が公知である。これらの方法は、別々にあるいは組み合わせて用いることができる。

１．必要があれば光学又はデジタル画像安定化装置を組み合わせて、露光時間をより長くする（Ｅｘｐｏｓｕｒｅ ｉｎ ｄｉｇｉｔａｌ ｐｈｏｔｏｇｒａｐｈｙ，Ｃｈｒｉｓ Ｗｅｓｔｏｎ．ＩＳＢＮ ９７８−５−９７９４−０２３５−２，９７８−２−９４０３７８−２９−６）

この方法には弱点がある。露光時間が長く、露光中にしっかり固定されていないハンドヘルド式カメラで写真を撮影する場合、結果としての画像がぼやけ、不明瞭で、鮮明でない。追加の機械装置（トリポッドなど）の使用は、移動度の条件を満たさない。この欠点は、デジタル式又は光学式画像安定化装置によって部分的に補償される。しかし、このような装置は、カメラが大きくなってしまう。更に、この第１の方法の弱点は、そのシーンの移動する対象物がぼやけて現れることであり、これは画像安定化装置を使用しても取り除くことができない。

２．センサからのデータ読み取り経路における増幅の強化（感度の増加に相当する）（Ｅｘｐｏｓｕｒｅ ｉｎ ｄｉｇｉｔａｌ ｐｈｏｔｏｇｒａｐｈｙ，Ｃｈｒｉｓ Ｗｅｓｔｏｎ．ＩＳＢＮ ９７８−５−９７９４−０２３５−２，９７８−２−９４０３７８−２９−６）

第２の方法の弱点は、画像の明度のみならず、センサと画像読み取り／デジタル化経路からのノイズも増幅してしまうことである。後でノイズを低減する方法もあるが、この方法は必然的に画像の所定の細部も消してしまう。

センサから複数の（一連の）露光量を受ける手順についての記載があり、この手順は以下のステージを具える（ｈｔｔｐ：／／ｗｗｗ．ａｐｔｉｎａ．ｃｏｍ／ｐｒｏｄｕｃｔｓ／ｉｍａｇｅ ｓｅｎｓｏｒｓ／ − ｄａｔａ ｔａｂｌｅ ｆｏｒ ｃｏｎｔｅｍｐｏｒａｒｙ ｓｅｎｓｏｒｓ； ｈｔｔｐ：／／ｗｗｗ／ａｐｔｉｎａ．ｃｏｍ／ａｓｓｅｔｓ／ｄｏｗｎｌｏａｄＤｏｃｕｍｎｅｔ．ｄｏ？ｉｄ＝３７３ − ｄｅｔａｉｌｅｄ ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ａ ｓｅｎｓｏｒ ｗｉｔｈ ａｎ ｅｌｅｃｔｒｏｎｉｃ ｓｈｕｔｔｅｒ： ｍｔ９ｐ０１３）：
−最適露光時間の決定、
−時間Ｔ１の間露光して、次いでデータを読み出す、
−露光間のインターバル、
−時間Ｔ２の間露光して、次いでデータを読み出す、
−露光間のインターバル、
−時間Ｔ３の間露光して、次いでデータを読み出す、
−その他。

上述の写真撮像方法の弱点は、露光が時間をかけて分散されていることであり、これが露光を組み合わせた後に動く対象物の表示品質を劣化させる。

米国特許第４５０，３４６号に記載されている画像処理方法が、本発明に最も近い。この方法は、入力画像として二つのフレームを用いており、これらの画像の一方は信号／ノイズ比は改善されているが、所定のひずみがある。この方法は第１の画像からの低周波数データと、第２の画像からの高周波数データを用いている。更なるロジックを用いて、二つの画像のスレッシュホールド周波数を決定する。この周波数は、画像の特性に応じて、画像領域上で適宜変更できる。この方法は、画像における疑似信号を低減させる以下の方法に使用される：
−対象の複数の露光時間を取得する；
−第１の撮影を行う（低い信号／ノイズ比で）；
−信号／ノイズ比が高い数枚の画像を一枚の画像にして、第２の画像を生成する；
−第１の画像に低周波フィルタリングを行い、ノイズを低減する；
−第２の画像に高周波フィルタリングを行う；
−低周波フィルタリングと高周波フィルタリングの周波数を、局所歪みまで調整する（アーチファクト）；
−フィルタリングを行った画像を単純に足し合わせることによって合成する。

この方法の弱点は、画像がぼやけることであり、これを除去することができないことである。そのシーンに動く物体があると、この方法で、時間を分けて露光して撮影した画像は必然的にアーチファクトを含む。

本発明の目的は、高開口率の光学素子や、その他の追加デバイスを使用することなく、移動式写真デバイスを用いて高画質の画像を得ることである。

この課題の解決策は以下の通りである：
−低い信号／ノイズ比で複数の露光時間を受信する、
−これらの露光時間のうち、部分的に時間がオーバーラップしているあるいはこれらの露光時間の間のインターバルが露光時間のトータル時間の１／２０を超えない、連続する撮影群から、最も鮮明なオリジナル画像を特定する、
−露光時間の長い画像を用いて、露光時間の短い画像をフィルタリングする、
−露光時間の異なる同じ群からのオリジナル画像を合わせて最終画像を取得する。

図１は、センサピクセルへのアクセスが破壊されていない場合に可能なデータ読み出しモードを示す。 図２は、中間センサリセットを伴うモードを示す。 図３は、標準データ読み出しモードを示す。 図４は、画像フィルタリングプロセスで、どのようにして画像をサイズが等しい小さなオーバーラップ領域（タイル）に分けるかを示す図である。 図５は、二次元周波数変換係数を非オーバーラップ領域へ分ける第１の方法を示す。 図６は、二次元周波数変換係数を非オーバーラップ領域へ分ける第２の方法を示す。 図７は、本発明の方法を公知の方法と比較することによって得た高品質画像のパーセンテージを示すグラフである。

写真画像を処理する本発明の方法は以下の二つのステージを具える：
１．センサから特定の画像データを回収して、画像の複数フレームを作成するモード（読み出し）。
２．取得した画像を合わせて一枚の最終画像にする。

ステージ１
方法１
図１に示す読み出しモードは：
−全センサピクセルを初期ラインごとに、オリジナル状態にリセットする；
−時間Ｔ１の間露光する；
−露光Ｔ１の間に得た画像をラインごとに読み出す；
−時間Ｔ２−Ｔ１の間、更に露光する；
−露光Ｔ２の間に得た画像をラインごとに読み出す；
ステップからなる。

この結果、２枚の画像が作成される：露光時間Ｔ１の第１の画像（以下、画像Ａという）と、露光時間Ｔ２の第２の画像（以下、画像Ｂという）である。

このデータ読み出しモードは好ましいが、センサピクセルに破壊されることなく読み出しアクセスされる場合にのみ行うことができる。

方法２
図２に示すデータ読み出しモードは：
−全センサピクセルを初期ラインごとに、オリジナル状態にリセットする；
−時間Ｔ１の間露光する；
−露光Ｔ１の間に得た画像をラインごとに破壊読み出しを行う；
−この読み出しの直後にすべてのセンサピクセルをオリジナル状態にリセットする；
−時間Ｔ２の間、更に露光する；
−露光Ｔ２の間に得た画像をラインごとに読み出す；
ステップからなる。

この読み出し方法は、時間Ｔ１とＴ２の間に得た画像を足し合わせて一枚の画像Ｂとすることによって、図１に示すモードで得たものと同様の画像を生成する。方法１と異なり、画像Ｂはセルの第２のリセットを行う間露光されない。しかし、このようなリセットに要する時間は、時間Ｔ１及びＴ２に比べると、無視できる程度に短い。リセット時間が、総露光時間の１／２０を超えない場合に、最適な結果が達成される。

画像Ａ及びＢは、第２段階に送られ、更に処理を行う。総露光時間と露光前のセンサをリセットするのに要する時間が、撮影したシーンのダイナミクスに比較して無視できるほど短い場合、最も良い結果を得るには、第１ステージの間にいくつかの画像対を構築し（Ａ１ Ｂ１；Ａ２ Ｂ２；．．．）、次いで第２ステージの間に最も良い対を選択する。

第１ステージの間に得た画像の特性：
第１ステージの後に取得した画像は、露光時間がＴ１＜Ｔ２と異なり、従って画像Ａの露光時間は、画像Ｂの露光時間より短い。最適比率は、Ｔ１＝Ｔ２／５であると認識されていた。換言すると、画像Ａの露出時間は、５倍短い。このような露出時間比率は：
−画像Ｂの信号／ノイズ比が画像Ａの信号／ノイズ比より５倍大きい；
−画像Ａの（例えば露光中にカメラがぶれた場合の）画像の不明瞭さ（ぼやけ）は、画像Ｂより有意に小さい。

ステージ２
最良の画像対の選択
第１ステージでいくつかの画像対を取得したら、更に処理を進めるべく最も良い対を選択しなければならない。画像Ｂのぼやけレベルは、続く処理に最も影響を与える。より鮮明な画像（Ｂ１又はＢ２又はＢ．．．）を、以下の方法で選択する：

１．輝度成分の抽出
画像の各ピクセルは、３つの色成分、Ｒ、Ｇ、Ｂの形で保存されている。従って、輝度成分（Ｙ）は、以下の式で確認される：
Ｙ ＝ Ｒ＊０．２９８９ ＋ Ｇ＊０．５８７ ＋ Ｂ＊０．１１４
この信号の解釈と輝度成分の計算方法は、画像処理の分野では一般的であり、よく知られている。

２．両画像における輝度勾配の２乗の和の計算：

ここで：
Ｇｘは、ｘ方向における勾配成分であり、
Ｇｙは、ｙ方向における勾配成分であり、
Ｇは、勾配値の２乗の和であり、
ｘ、ｙは、ピクセルの座標である。

３．画像はＧの最高値を有するべきである
最良の対が確認されたら、二つの画像が得られる：
Ａ．より鮮明だが、ノイズレベルが高い画像；
Ｂ．ぼやけている可能性があるが、ノイズレベルが低い画像。

画像Ａにおけるノイズ低減（フィルタリング）
有益なデータ（露光シーン）の他に、画像Ａは、疑似ノイズを含む。画像Ｂの低ノイズデータは、画像Ａのノイズから有益な信号をフィルタリングする。この方法は、単一画像を用いてノイズをフィルタリングする公知の方法と、第２画像（Ｂ）を用いて有益な信号からノイズを分離している点で、異なる。このことは、ノイズと有益な信号を最適に分離して、有益な信号を無傷のまま残すことができる。

フィルタリング処理を明度成分、又は輝度成分及びクロミナンス成分、あるいは、各カラーチャネル（Ｒ、Ｇ、Ｂ）に個別に適用することができる。

以下に述べる手順は、画像Ａのノイズを、画像Ｂのデータを用いて低減する：
−画像Ａ及びＢのフィルタリング用に選択されたチャネル（例えば、輝度チャネル）をサイズが等しいより小さいオーバーラッピング領域（タイル）に分解する。図４を参照。
−各タイルにつき同じ処理アルゴリズムを行う：
・各タイルのデータにウインドウを適用して、二次元周波数変換を行う（例えば、２Ｄフーリエ変換）。このウインドウを用いて周波数変換中のギブス効果を小さくする。四角のウインドウ機能は、隣接するタイルの重ねたウインドウに加算した時のまとまった一つのアプリケーション条件に合致する；
・結果としての二次元周波数変換係数を、重なっていない領域に分割する（図５及び図６を参照）；
・画像Ａの係数を、画像Ｂの係数を使って各領域内でフィルタにかける；
・逆周波数変換を行い、ウインドウに二度目の処理を行う。
−結果としての重なり合ったタイルを足し合わせて、集積画像Ａを構築する。

最も低い周波数（フィルタリングしない）の領域を除いて、各領域のフィルタリングアルゴリズムの係数は以下のとおりである：
−画像Ａ及びＢの係数の平均エネルギィ、その相関関係、及び画像Ｂの係数のエネルギィの平均調整量は、以下の式で計算される：

−画像Ｂの係数の振幅は、以下の式で調整する：

−所定の領域において二乗振幅がより高い（例えば３倍高い）画像Ａの係数と、調整係数は、無傷で残っている
−画像Ｂの係数の振幅を超える画像Ａの係数の振幅は小さくなる：

このような周波数ドメインへの変換を含むフィルタリングプロセスは、実際の写真の状態に通常生じるそのシーンにおける対象の若干の動きを補償するため、最適である。

最終画像の取得
ノイズが抑制されると、画像Ａは露光時間が異なり、ノイズレベルが低い二つの画像となる。しかしながら、露光時間がより長い画像はぼやけている（鮮明でない）。これらの２枚の画像を一枚の画像にすることによって、ダイナミックレンジが大きい最終画像ができる。

画像Ａの影がかかった領域は、画像の詳細を表示するのに十分な電荷を蓄積しておらず、この場合、画像Ｂを用いてこのような領域を埋めることができる。画像Ｂはぼやける可能性が高いが、そのシーンの影がかかった詳細を最終画像に表示することができる。

画像の統合は、文献（“Ｅｘｐｏｓｕｒｅ Ｆｕｓｉｏｎ”，Ｔｏｍ Ｍｅｒｔｅｎｓ，Ｊａｎ Ｋａｕｔｚ ａｎｄ Ｆｒａｎｋ Ｖａｎ Ｒｅｅｔｈ．Ｉｎ“Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｐａｃｉｆｉｃ Ｇｒａｐｈｉｃｓ，２００７”）に記載されているように行われ、ＨＤＲ中間表示を用いる必要なく、最終画像を得ることができる。このプロセスでは、各入力画像をピラミッド状に分解して、この分解の各レベルは、最適露光時間への画像の所定の領域の露光の近似に基づいて重みづけを行う機能によって特定した重みを有する画像を単純に足し合わせるステップを具える。

提案した発明によって、上述の特別な露光モードを使用できる電子シャッタとセンサ付きの装置の使用において、高品質な画像を得ることができる。今日では、電子シャッタはカメラを内蔵したほとんどの携帯電話に使用されている。この発明は、機械式シャッタのカメラに使用することもできるが、画像の品質はそれほど高くならない。提案した解決策を画像安定化装置と組み合わせて使用できることは特筆すべきである。この場合、技術が互いに調和的に補完しあって、鮮明な画像を生み出すことができるように露光範囲を広げることができる。提案した解決策は、センサ設計を変更する必要がない。

Claims (3)

1. 画像処理方法において：
   （ａ）信号／ノイズ比が低い複数の露光時間を得るステップと；
   （ｂ）これらの露光時間から最も鮮明なオリジナル画像を特定するステップと；
   （ｃ）より長い露光時間を有する画像からのデータを用いてより短い露光時間の画像をフィルタリングすることによって、信号／ノイズ比が高く、高解像度の最終画像を作るステップと；
   を具えており、前記フィルタリングが、
   画像のタイルに複数の二次元変換を適用し、複数の周波数係数を得るステップと；
   複数の周波数係数を複数の領域に分けるステップと；
   領域ごとに、１つの画像からの複数の周波数係数を使用することによってフィルタリングを実行し、別の画像の複数の周波数係数を調整するステップと；
   調整された複数の周波数係数に逆二次元変換を適用するステップと；
   を有することを特徴とする方法。
2. 請求項１に記載の画像処理方法において、同じ群から露光時間が時間内に部分的にオーバーラップしている、あるいはこれらの露光時間のインターバルが、露光時間の全時間の１／２０を超えない露光時間群から、オリジナル画像が次々撮影されることを特徴とする画像処理方法。
3. 請求項１に記載の画像処理方法において、前記最終画像が、露光時間が異なる同じ群からのオリジナル画像の結合を介して構築されることを特徴とする方法。

Images