JP5653104B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、画像データの処理装置および処理方法に関する技術であり、より具体的には複数の画像を合成する技術に関する。

従来より複数の画像を合成し、高画質化を行う技術が知られている。動画像やカメラでの連写撮影からは、時間的に連続した複数の画像を得ることができる。それらの画像にはノイズが存在し得る。例えばデジタルビデオカメラでの動画撮影では、撮像素子で光を電気信号に変換する際にノイズが発生することが知られている。微弱なノイズであっても信号を増幅する工程を経ると、目立ったノイズとなる可能性がある。したがって信号の増幅を大きく行う暗いシーンでの撮影では、明るいシーンでの撮影に比べてノイズが目立つ画像が多い。

このようなノイズはランダムに発生するため、連続する複数の画像の位置を合わせて平均化することによりノイズは低減できる。特許文献１では、この原理を利用し、複数フレーム（画像）間の画素の合成によってノイズ除去を行う技術が記載されている。

特開２００２−２２３３７４号公報

しかしながら、平均化、あるいは加重平均化によって複数のフレームの合成を行うと、輪郭部に画像劣化が生じるという問題があった。より具体的には、合成の作用によりノイズ部だけでなく輪郭部も平均化され、輪郭が鈍ってしまう。特許文献１にも、複数画像の合成によるエッジや輪郭部の劣化の解決について何ら記載されていない。

本発明はこのような問題に鑑みてなされたものである。その課題は、複数画像の合成処理において輪郭の鈍りを低減させる画像処理装置および画像処理方法を提供することである。

本発明に係る画像処理装置は、合成対象の第１の画像における一部の領域の、所定の特徴の程度を示す特徴量を算出する算出手段と、前記算出手段により算出された前記第１の画像における領域の特徴量に基づき、前記第１の画像における前記領域の合成のための重み、または前記第１の画像の前記領域と合成される、合成対象の第２の画像における領域の合成のための重みを決定する決定手段と、前記第１の画像の領域または前記第２の画像の領域に対して前記決定手段により決定された合成の重みに基づいて重み付けを行うことにより、前記第１の画像と前記第２の画像とを合成する合成手段と、を備え、前記決定手段は、前記算出手段により算出された特徴量に応じた少なくとも３段階の重みを決定可能であり、前記第２の画像の重みが常に前記第１の画像の重み以下となり且つ当該少なくとも３段階の重みにおいて当該特徴量が大きいほど第２の画像における領域の重みが小さくなるように前記重みを決定することを特徴とする。

本発明によれば、複数画像の合成処理において輪郭の鈍りを低減させる画像処理装置および画像処理方法を提供することができる。

本発明の画像処理におけるブロック図である。 本発明の画像処理におけるフローチャートである。 本発明の関数の特性を表すグラフである。 本発明の関数の特性を表すグラフである。 本発明の関数の特性を表すグラフである。 本発明の関数の特性を表すグラフである。 本発明の関数の特性を表すグラフである。 本発明の関数の特性を表すグラフである。 本発明の画像処理におけるフローチャートである。 本発明の画像処理における仮画像の概念図である。

以下、図面を参照して本発明の実施形態を詳細に説明する。

図１に本発明の一実施形態における画像処理方法を実施するための画像処理装置１のブロック図を示す。画像処理装置１は、以下の構成を含むＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）により実装されると想定して説明する。

ＣＰＵ１０１は、中央演算ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）で、他の機能ブロックや装置による処理の制御を行う。処理の制御は、後述するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０４に展開された制御プログラムに基づいて行われる。ブリッジ部１０２は、ＣＰＵ１０１と他の機能ブロックの間で行われるデータや命令の送受信を中継する機能を提供している。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３は読み込み専用の不揮発メモリであり、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）と呼ばれるプログラムが格納されている。ＢＩＯＳは画像処理装置が起動したときに最初に実行されるプログラムであり、２次記憶装置１０５、表示制御装置１０７、入力装置１０９、出力装置１１０などの周辺機器の基本入出力機能を制御するものである。ＲＡＭ１０４は、高速の読み／書き可能な記憶領域を提供する。２次記憶装置１０５は、大容量の記憶領域を提供するＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。ＢＩＯＳが実行されると、ＨＤＤに格納されているＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が実行される。ＯＳはすべてのアプリケーションで利用可能な基本的な機能や、アプリケーションの管理、基本ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を提供する。アプリケーションは、ＯＳが提供するＧＵＩを組み合わせることで、アプリケーション独自の機能を実現するＵＩを提供できる。ＯＳや、他のアプリケーションの実行プログラムや作業用に使用しているデータは、必要に応じてＲＡＭ１０４または２次記憶装置１０５に格納される。

表示制御部１０６は、ＯＳやアプリケーションに対して行われるユーザの操作の結果をＧＵＩの画像データとして生成し、表示装置１０７で表示するための制御を行う。表示装置１０７には液晶ディスプレイや、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイが使用できる。Ｉ／Ｏ制御部１０８は、複数の入力装置１０９、出力装置１１０とのインターフェースを提供するものである。代表的なインターフェースとして、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＰＳ／２（Ｐｅｒｓｏｎａｌ Ｓｙｓｔｅｍ／２）がある。

入力装置１０９には、キーボード、マウスといったユーザの意志を画像処理装置１に入力するものがある。さらに、デジタルカメラ、ＵＳＢメモリ、ＣＦ（Ｃｏｍｐａｃｔ Ｆｌａｓｈ）メモリ、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードといった記憶装置などを入力装置１０９として接続することで、画像データを転送することも可能である。出力装置１１０としてはプリンタが接続され、所望の印刷結果を得ることが可能である。

本実施形態における画像処理方法を実現する画像処理アプリケーションは、２次記憶装置１０５に格納される。当該画像処理アプリケーションは、ユーザの操作で起動するアプリケーションとして提供される。

以下、本発明に係る実施例１を図面を用いて詳細に説明する。

図２は、本実施例における画像処理の流れを示すフローチャートである。この処理は、画像処理装置１においてアプリケーションが起動した後、ＣＰＵ１０１の制御により該アプリケーション上で行われる。すなわち、この処理は、ＣＰＵ１０１を含むハードウェアとアプリケーションを含むソフトウェアとの協働により実行される。

Ｓ２０１ではアプリケーションは、入力装置１０９又は２次記憶装置１０５から複数の画像を取得する。当該複数の画像において、合成画像の主となる画像を基準画像（第１の画像）、その他の画像を比較画像（第２の画像）とする。すなわち、アプリケーション（及びＣＰＵ１０１の制御）により、画像合成のための基準画像及び比較画像を含む複数の画像が取得される。当該複数の画像としては、動画像からフレーム切り出しを行ったものや連写撮影などの連続したシーンの画像が想定される。あるいは撮影時間の間隔が開いた画像であっても、定点観測カメラや天体の動きを追う天体カメラなど、同じ被写体を撮影した画像にも適用可能である。

ここで、動画像から複数の画像を取得する場合の例を説明する。まず、ユーザは、２次記憶装置１０５に記憶されたデータから動画を再生し、表示装置１０７に画像を表示させる。ユーザは、表示された画像を確認し、入力装置１０９を用いて１つのフレームを選択する。選択されたフレームを静止画データとして切り出し、これを基準画像とする。動画データから静止画データの切り出しは、例えば、該動画像に対応したコーデックを用いて実施できる。ここでは静止画データは、例えばＲＧＢ（レッド、グリーン、ブルー）信号で構成されたビットマップ形式で切り出され、ＲＡＭ１０４の領域に格納される。

次にアプリケーションは、基準画像として選択されたフレームの前後のフレームを比較画像として切り出し、ＲＡＭ１０４の領域に格納する。この切り出し処理は、基準画像と同様にビットマップ形式で静止画データへの切り出しを行う。本実施例では、比較画像の取得のために、ユーザに選択されたフレーム（基準画像）の前の２フレーム及び後の２フレームをそれぞれ静止画データとして切り出し、合計４つの比較画像を取得する。

複数の静止画取得方法はこれに限定されたものではない。例えば連写撮影された静止画像の１つを基準画像、その他を比較画像としてもよい。また、ユーザが選択せずともアプリケーションが判別機能を持ち、自動的に基準画像および比較画像を選択してもよい。

Ｓ２０２では、取得した基準画像について特徴量（第１の特徴量）を画素毎に算出する。本実施例において特徴量とは、輪郭らしさを表す値である。特徴量は、例えば、エッジ量の算出、周波数の解析などで求めることが出来る。本実施例での特徴量の算出は、検査対象の画素とその周囲の画素との間の色又は明るさの差分量に基づいて算出する。差分量が多いほど特徴量が多い値となる。差分量は、例えば、３［画素］×３［画素］のフィルタを用い、中心とその他８画素の色差をそれぞれ求め、それら色差の総和から算出される。そして、この総和を０〜２５５に正規化することにより、特徴量である輪郭らしさを求めることできる。色差は、ＲＧＢやＹｃｃ色空間の信号値の距離、Ｌａｂ色空間上のΔＥ、又は輝度の差の絶対値などによって求められる。すなわち、基準画像の画素毎の特徴量は、対象画素とその周囲の画素との間の色又は明るさの相違に基づいて算出される。

輪郭は、隣接する画素間での色差がある程度大きい時に人間によって認識する事ができる。対象画素と隣接画素との色差が無い、あるいは少ない場合、人間の視覚はこれらの画素を同一色として認識する。色差が少し大きくなると滑らかなグラデーションと認識し、更に大きくなると輪郭として認識する。ところで、一般的にカメラのセンサーノイズは画素毎にランダムに発生する。同一色の被写体を撮影したとしても、ノイズの発生によって画素に若干の色のばらつきが発生する。つまり、ノイズは被写体には存在しなかったはずの隣接画素間の色の差を生み、該画素にはある程度の特徴量が発生してしまう。撮影条件やカメラのセンサーによって異なるが、一般に、ノイズは画像の輪郭に比べて比較的小さな特徴量となることが多い。

ここで、比較画像の特徴量を求めずに、基準画像のみの特徴量を求めることは本実施例の特徴の１つとなる。基準画像の画素数と同じ画素数を持つ画像を作成し、それを特徴量画像とする。基準画像のそれぞれの画素で求めた特徴量を特徴量画像の同じ座標の画素に格納する。すなわち、基準画像の座標に対して特徴量画像の同座標が対応しており、例えば基準画像の座標（ｘ， ｙ）＝（０，０）の画素の特徴量は特徴量画像の座標（ｘ， ｙ）＝（０，０）の画素に格納されている。また、基準画像はＲ、Ｇ、Ｂの３要素を持つが、特徴量画像は特徴量を表す１要素を持てばよい。

Ｓ２０３では、合成の重みを基準画像の画素単位で算出する。合成の重みとは、加重平均をする際の基準画像の重みに対する比較画像の重みであり、それぞれの比較画像の画素の合成比率となる。合成の重みの算出方法の例を、図３を用いて説明する。

図３は特徴量を入力（横軸）とし、合成の重みを出力（縦軸）とするグラフである。横軸の特徴量、縦軸の合成の重みは共に０から２５５の値で表される。特徴量のレベルが低いとき（図３の特徴量が０から６４のとき）、重みは最大である２５５となる。これは、後述する重み付け加算において基準画像に対して比較画像が同等の重みを持つことを意味する。特徴量が６４を超えると特徴量が大きい程合成の重みは小さくなる。特徴量が１９２以上では合成の重みは最小である０である。これは、後述する重み付け加算において基準画像に対して比較画像の重みを持たせず、即ち基準画像に対する比較画像の合成を行わないことを意味する。アプリケーションは特徴量を入力とし、重みを出力とする特性が図３のように、関数、あるいはルックアップテーブルを用いて基準画像の各画素に対する合成の重みを算出する。関数であれば、合成の重みは以下のように求めることができる。

（特徴量＜＝６４）であれば、合成の重み＝２５５
（特徴量＞＝１９２）であれば、合成の重み＝０
（６４＜特徴量＜１９２）であれば、合成の重み＝２５５−（特徴量−６４）／１２８×２５５
ここで、図３の点３０１、点３０２の線の折れ曲がりについて説明する。図３のグラフで表す、特徴量が低い領域は該画素と隣接画素との色差が無い、あるいは少ない場合であり、この場合は人間の視覚は同一色として認識する。色差が少し大きくなると滑らかなグラデーションと認識し、更に大きくなると輪郭として認識する。

図３のグラフで示す関数では、特徴量が点３０１の値以下、つまり特徴量が０から６４のときの出力値（合成の値）は２５５である。すなわち、特徴量は変化しない。これは、入力された画像において特に低減させるべきノイズの特性が、特徴量での０から６４であることに起因する。つまり、特徴量が０から６４の画素はノイズである可能性を大きく含んでいる場合にこの関数は適用される。基準画像と比較画像の画素を平均化させてノイズを低減する原理であるため、比較画像の合成の比率、つまり合成の重みを大きくさせることにより、ノイズ低減効果を最大限に発揮させる事ができる。加えて、特徴量が低いという事は周囲画素との色差が小さいため、合成によるボケが発生したとしても人間の視覚に与える影響は少ない。

点３０１から点３０２、つまり特徴量が６４から１９２の画素のときは段階的に合成の重みを減らす。すなわち、特徴量が所定の閾値を超えた場合、特徴量が大きいほど合成の重みが低くなるように、当該合成の重みを算出する。換言すれば、第１の特徴量に対応する合成の重みが、前記第１の特徴量よりも小さい第２の特徴量に対応する合成の重みよりも低くなるように、合成の重みが決定される。これは、特徴量６４を超えるとノイズが原因で発生した色差である可能性も含むが、画像に必要な輪郭の色差である可能性が出てくる。特徴量が大きくなる程に画像に必要な輪郭である確率も上がる。逆に特徴量が大きくなる程にノイズが特徴量に影響している確率は少なくなる。つまり、ノイズを低減する効果も持たせつつ、必要な輪郭をぼかしてしまうリスクを減らしている。なお、本実施例では、特徴量の閾値を６４としているがこれに限定されず、当然のことながら任意の値を設定することができる。

点３０２以降、つまり特徴量が１９２から２５５のときは比較画像の合成の重みが０となる。これは、入力された画像において特に重要な輪郭部分が特徴量での１９２から２５５であることに起因する。つまり、特徴量が１９２から２５５の画素は、画像を形成する上で特に重要な輪郭であり、この部分にボケが発生すると画像全体がボケている印象を受ける事が多い。平均化によるボケを回避するため、該画素については比較画像の合成の重みは０とし、特徴量が１９２から２５５の画素に対しては合成を行わないようにすることで、基準画像と比較画像の合成後の結果も基準画像のままとなるようにする。また、カメラ性能や撮影条件によっても異なるが、ノイズで発生した周囲画素との色差は小さいことが多い。そのため、ノイズが原因で生じる特徴量が画像の重要な輪郭での特徴量程大きくなる事は少ない。

合成の重みの算出方法は上記に限定されるものではなく、別の例では図４、図５、図６、図７、又は図８に示すような特性を持たせてもよい。例えば撮影条件とカメラの特性がわかっており、発生し得るノイズの特徴量レベルが定まっている場合、あるいはボケを発生させたくない特徴量のレベルが定まっている場合は図５に示すような特性で合成の重みを算出すればよい。また、特に何も定まっていないのであれば、図７に示す特性で合成の重みを算出すればボケが発生するリスクとノイズを低減させる効果を減らしてしまうリスクの両方を平均的に分散させる事ができる。

また、特徴量の算出方法の特性は可変にしてもよいし、０からユーザが指定した特徴量までの合成の重みを高くするようにしてもよい。

以上のようにＳ２０３の処理によれば、Ｓ２０２で算出された基準画像の画素毎の特徴量に基づいて比較画像の合成の重みを算出する。このように各画素に対して求めた合成の重みをメモリに格納し、重み画像とする。重み画像と基準画像とが同じ座標で対応するような順で格納を行う。ここで、基準画像の特徴量を用いて合成の重みを算出しており、比較画像の特徴量を用いていない事が本実施形態の特徴の１つである。つまり、１つの画像内で計算可能であり画像間の特徴量を用いて処理する必要がない。その結果、画像合成処理全体の処理速度を高めることができる。

図２のＳ２０４では、画像加算の準備を行う。アプリケーションはＲＡＭ１０４内に重み付き総和画像の領域を確保する。重み付き総和画像とは、基準画像および比較画像のそれぞれに重みを付け、加算をする信号値データと重みの総和を格納するメモリ領域である。ＲＧＢ信号画像の場合では、重み付き総和画像は、［Ｒ， Ｇ， Ｂ， 重み］の４つの要素が必要である。各要素は、例えば、Ｒ， Ｇ， Ｂ， 重みの順にメモリ領域に割り当てられる。この４要素が基準画像の画素の数だけＲＡＭ１０４に格納される。基準画像の画素と重み付き総和画像の画素とは同じ座標で対応する。

ここでは更に、メモリ領域に割り当てられた重み付き総和画像の全画素について、基準画像のＲ， Ｇ， Ｂの信号値に、基準画像の重みの数値としての２５５をそれぞれかけた値をＲ， Ｇ， Ｂの各要素の値として格納し、２５５を重みの要素として格納する。この重みの要素である数値２５５は、基準画像の全ての画素で一律に用いられる。同じ座標上の１つの画素において基準画像の信号値をＲｍ、Ｇｍ、Ｂｍとし、重みをＷ（＝２５５）とし、重み付き総和画像の値をＲｓ、Ｇｓ、Ｂｓ、Ｗｓとすると、重み付き総和画像の値は、以下の式で表す事ができる。ここで、［←］は格納を意味する。

Ｒｓ ← Ｒｍ × Ｗ
Ｇｓ ← Ｇｍ × Ｗ
Ｂｓ ← Ｂｍ × Ｗ
Ｗｓ ← Ｗ
尚、Ｒｓ、Ｇｓ、Ｂｓはそれぞれ、レッド、グリーン、ブルーの信号値の重み付き総和であり、Ｗｓは重みの総和を表している。

全ての画素において、上記のような格納を行う。全ての画素の重みに２５５が格納されるのは、基準画像の重みが２５５であることを示す。

図２のＳ２０５からＳ２０８は、比較画像の数の回数、処理のループを行う。変数Ｉ に初期値として１を代入し、（ Ｉ ＞ 比較画像数）の式を終了条件とする。この式が成り立つまでループ内の処理を繰り返し行う。尚、説明のため、最初の比較画像を比較画像［１］、次の比較画像を比較画像［２］、その次の比較画像を比較画像［３］、という様に表し、ループ内では各比較画像が用いられる。ループ内で使用される比較画像を、変数 Ｉ を用いて比較画像［Ｉ］と表す。

図２のＳ２０６では、基準画像と比較画像［Ｉ］の位置を合わせる。ここでは、基準画像の座標に対応する比較画像［Ｉ］の座標を求める。対応座標の求め方としては、公知のブロックマッチング法や勾配法など、公知の技術を用いる。なお、基準画像の座標に対応する比較画像の座標を求める場合、基準画像に含まれる全ての画素の座標について算出する必要はない。即ち、基準画像の一部の画素について対応座標を求め、求めた対応座標に基づき周囲の画素の対応座標を決定してもよい。これにより、基準画像と比較画像の位置合わせのための処理負荷を低減させることができる。また、画像の一部の画素に従って複数の画像の位置合わせを行う場合、エッジとエッジが交わるコーナーなど、特徴のある箇所に従って位置合わせを行った方が、より位置合わせの精度が向上することができる。そこでＳ２０２で求めた画素の特徴量に基づき、基準画像のうち、比較画像における対応座標を求めるための特徴点を特定してもよい。そして、この特徴点に対応する比較画像における座標を求めることにより、基準画像と比較画像の位置合わせを行う。

このようにして求めた対応座標に基づいて比較画像［Ｉ］を基準画像の座標に合わせて変形させ、仮画像に格納する。すなわち、仮画像とは、基準画像と比較画像［Ｉ］の位置を合わせるために、基準画像の座標に対応するように比較画像［Ｉ］の座標を変形させた画像である。また、仮画像とはメモリ内に領域が確保された画像であり、比較画像［Ｉ］と同様にＲ、Ｇ、Ｂの３つの要素を持つ。基準画像と同数の縦画素数、横画素数を持っており、基準画像の座標と仮画像の座標はそれぞれ対応している。また、カメラや被写体が動いていない事がわかっている場合には該位置合わせは必須ではなく、比較画像［Ｉ］をそのまま仮画像とすればよい。

仮画像について、図１０を用いて概念を説明する。１００１は基準画像であり、１００２はそれに合成をする比較画像［Ｉ］である。基準画像１００１に対し、比較画像１００２は撮影時にカメラが動いたなどの理由で被写体の座標や角度、大きさが変わっている。１００３は仮画像の概念を表す。基準画像１００１に比較画像［Ｉ］１００２が位置を合わせ変形させると１００３のようになる。基準画像は１００４の実線の四角で表され、比較画像［Ｉ］は基準画像に位置を合わせると破線１００５の四角のように変形される。仮画像は基準画像の座標に対応するように作成するため、仮画像は実線１００４の四角のような位置となる。ここで、１００４内の斜線部は基準画像に対して比較画像［Ｉ］の画素が存在しない箇所である。仮画像のこの画素にはＲ，Ｇ，Ｂの信号に負の値を入れるなどして画素が存在しない事を表せば良い。

図２のＳ２０７では、重み付け加算を行う。ここでは、仮画像に重みを付け、重み付き総和画像に加算をする。仮画像の画素の信号値に重み画像の同座標の値をかけたものを、総和画像の同座標の値に加算し、再び重み付き総和画像の同座標に格納する。つまり、同じ座標上の１つの画素において仮画像の信号値をＲｔ、Ｇｔ、Ｂｔ、重み画像の値をＷ、重み付き総和画像の値をＲｓ、Ｇｓ、Ｂｓ、Ｗｓとすると、以下の式で表す事ができる。また、Ｒｓ、Ｇｓ、Ｂｓはそれぞれ、レッド、グリーン、ブルーの信号値の重み付き総和を表し、Ｗｓは重みの総和を表す。ここで、［←］は格納を意味する。

Ｒｓ ← Ｒｔ × Ｗ ＋ Ｒｓ
Ｇｓ ← Ｇｔ × Ｗ ＋ Ｇｓ
Ｂｓ ← Ｂｔ × Ｗ ＋ Ｂｓ
Ｗｓ ← Ｗ ＋ Ｗｓ
尚、右辺のＲｓ、Ｇｓ、Ｂｓはこの処理を行なう前の値を表しており、左辺のＲｓ、Ｇｓ、Ｂｓはこの変数に代入される事を表している。つまり、この処理で右辺の計算が行なわれ、左辺は更新される。また、Ｒｓ、Ｇｓ、Ｂｓの初期値には、前述した基準画像の信号値による重み付き総和画像の値が格納されている。仮画像に重み付けを行なった値がループ内でＲｓ、Ｇｓ、Ｂｓに対して順次加算されていく。

仮画像の全ての画素に対して、上記のような重み付け加算を行う。ただし、上述のように、仮画像には合成すべき画素値を有さない画素が存在する場合がある。このような画素に対しては、上記のような重み付け加算を行わない。

Ｓ２０３の説明で述べたとおり、基準画像と重み画像とは同じ座標で対応している。Ｓ２０４の説明で述べたとおり、基準画像と重み付き総和画像とは同じ座標で対応している。Ｓ２０６の説明で述べたとおり、基準画像と仮画像は同じ座標で対応している。すなわち、基準画像と重み画像と重み付き総和画像と仮画像とは全て同じ座標で対応が取れているため、参照が容易である。

Ｓ２０８ではループの終了を判定する。変数Ｉに１を加え、（変数Ｉ ＞ 比較画像数）の式を満たすとき、全ての比較画像の処理が終了している事を意味するためループは終了となる。全ての比較画像の処理が終了していなければＳ２０５に戻り、比較画像［Ｉ］についての処理を行う。前述したように変数Ｉに１が加えられているため、比較画像［Ｉ］は先ほどのループとは異なる画像を表す。（変数Ｉ ＞ 比較画像数）の式を満たしていれば全ての比較画像で処理が終了しているため、次ステップであるＳ２０９へ進む。

Ｓ２０９では加重平均を行う。メモリに出力用の画像領域を確保し、出力画像とする。出力画像の１画素は色の信号値である、Ｒ、Ｇ、Ｂの３要素を持ち、縦画素数、横画素数は基準画像と同じ数である。加重平均は、重み付き総和画像の画素毎に各信号の重み付き総和（Ｒｓ、Ｇｓ、Ｂｓ）を重みの総和（Ｗｓ）で割り、得られた値を出力画像の該当画素へ格納することによって行う。出力画像の画素の信号をＲｏ（レッド信号の画素値）， Ｇｏ（グリーン信号の画素値）， Ｂｏ（ブルー信号の画素値） とすると、Ｒｏ， Ｇｏ， Ｂｏは、以下の式で表すことができる。

Ｒｏ ← Ｒｓ ／ Ｗｓ
Ｇｏ ← Ｇｓ ／ Ｗｓ
Ｂｏ ← Ｂｓ ／ Ｗｓ
全ての画素について、上記のような加重平均を行い、出力画像を完成させる。
以上のようにＳ２０４からＳ２０９の処理によれば、Ｓ２０３でされた合成の重みに基づいて、Ｓ２０１で取得された基準画像及び比較画像を含む複数の画像を加重平均により合成する。

Ｓ２１０では画像の出力を行う。Ｓ２０９の出力画像をＢＭＰやＪＰＥＧなどの画像ファイルに保存する。出力はこれに限定するものではなく、表示装置であるディスプレイに表示してもよいし、出力装置に送信して印刷による画像出力をしてもよい。

以上のように図２に示した処理によれば、画像合成のために取得した基準画像及び比較画像を含む複数の画像を取得し、基準画像の特徴量を算出する。算出された基準画像の特徴量に基づいて、基準画像の各画素の位置に対応する比較画像の画素の合成の重みを算出する。算出された合成の重みに基づいて、基準画像及び比較画像を含む複数の画像を加重平均により合成する。

このように画像の特徴量及び加重平均を用いて複数の画像を合成することにより、輪郭部の劣化が少なく、ノイズが低減された画像を得ることができる。また、基準画像の特徴量のみを使用し、比較画像の特徴量を求める必要がないため、速度的な無駄が発生しない処理となる。また、基準画像の特徴量を用いて合成の重みを算出しており、比較画像の特徴量の算出処理を必要としないため、画像合成処理全体の処理速度を高めることができる。

以下、実施例２を、図を用いて詳細に説明する。尚、実施例１と同様の処理を行う場合はその詳細な説明を省略する。

図９は、本実施形態の処理の流れを示すフローチャートである。この処理は、画像処理装置１においてアプリケーションが起動した後、ＣＰＵ１０１の制御により該アプリケーション上で処理が行われる。

Ｓ９０１ではアプリケーションは複数の画像を、入力装置１０９又は２次記憶装置１０５から取得する。当該複数の画像において、合成画像の主となる画像を基準画像、その他の画像を比較画像とする。実施例１の図２のＳ２０１で説明した処理と同様のため詳細な説明は省略する。

図９のＳ９０２では、画像加算の準備を行う。実施例１の図２のＳ２０４で説明した処理と同様のため詳細な説明は省略する。

図９のＳ９０３からは、比較画像の数でループを行う。変数Ｉに初期値として１を代入し、（Ｉ ＞ 比較画像数）の式を終了条件とし、この式を満たすまでループ内の処理を繰り返し行う。説明のため、最初の比較画像を比較画像［１］、次の比較画像を比較画像［２］、その次の比較画像を比較画像［３］、という様に表し、ループ中に使用される比較画像を、変数Ｉを用いて比較画像［Ｉ］と表す。

図９のＳ９０４では、仮画像の特徴量を画素毎に算出する。実施例１の図２のＳ２０２での基準画像の特徴量の算出と同様に、ここでは仮画像について特徴量を算出し、特徴量画像に格納する。実施例１の図２のＳ２０６と同様に基準画像の位置に合わせて比較画像［Ｉ］を変形し、仮画像に格納してもよいが、説明を簡略化させるため基準画像と比較画像［Ｉ］の位置が同じであるシーンを想定する。よって、比較画像［Ｉ］をそのまま仮画像とし、Ｓ９０４ではこの仮画像について画素毎に特徴量を算出する。ここで、比較画像［Ｉ］である仮画像のみの特徴量を算出する事が本実施例の特徴の１つである。尚、特徴量の算出方法は前述のＳ２０２と同様のため、詳細な説明は省略する。

Ｓ９０５では、仮画像の合成の重みを画素単位で算出し、重み画像へ格納する。Ｓ９０４で作成した特徴量画像の各画素の値を入力とし、各画素の合成の重みを関数によって算出する。関数において、特徴量と合成の重みとの関係は図３に示すような特性を持つ。ここで、比較画像［Ｉ］である仮画像の特徴量を用いて合成の重みを計算しており、基準画像の特徴量を用いていない事が本実施形態の特徴の１つである。つまり、画像間の特徴量を比べる必要がない。その結果、画像合成処理全体の処理速度を高めることができる。Ｓ９０５のその他の処理は図２のＳ２０３と同様であり説明済みであるため、ここでの詳細な説明は省略する。

Ｓ９０６では、Ｓ２０７と同様に全ての画素において重み付け加算を行う。ここで、重みはＳ９０５で求めた仮画像についての重み画像を用いる。その他はＳ２０７と同様のため詳細な説明は省略する。

Ｓ９０７では、ループの終了を判定する。Ｓ２０８と同様なため、詳細な説明は省略する。
Ｓ９０８では、加重平均を行う。Ｓ２０９と同様の処理を行うため、詳細な説明は省略する。
Ｓ９０９では、画像の出力を行う。Ｓ２１０と同様の処理を行うため、詳細な説明は省略する。

以上、図９に示した複数画像の合成処理によれば、輪郭部の劣化が少なくノイズが低減された画像を得ることができる。

［その他の実施例］
上記２つの実施例では動画から静止画切り出しを行い高画質化された静止画を得たが、このように高画質化された画像を複数用いて動画像を再編成する事により、高画質な動画像を得る事もできる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

動画像から静止画切り出しをする際の高画質化。動画像の１フレーム毎の高画質化。

１００１ 基準画像
１００２ 比較画像

Claims (18)

1. 合成対象の第１の画像における一部の領域の、所定の特徴の程度を示す特徴量を算出する算出手段と、
   前記算出手段により算出された前記第１の画像における領域の特徴量に基づき、前記第１の画像における前記領域の合成のための重み、または前記第１の画像の前記領域と合成される、合成対象の第２の画像における領域の合成のための重みを決定する決定手段と、
   前記第１の画像の領域または前記第２の画像の領域に対して前記決定手段により決定された合成の重みに基づいて重み付けを行うことにより、前記第１の画像と前記第２の画像とを合成する合成手段と、
   を備え、
   前記決定手段は、前記算出手段により算出された特徴量に応じた少なくとも３段階の重みを決定可能であり、前記第２の画像の重みが常に前記第１の画像の重み以下となり且つ当該少なくとも３段階の重みにおいて当該特徴量が大きいほど当該第２の画像における領域の重みが小さくなるように前記重みを決定することを特徴とする画像処理装置。
2. 前記決定手段は、前記第２の画像の特徴量を用いることなく合成の重みを決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記第１の画像における前記領域または前記第１の画像の前記領域と合成される前記第２の画像における領域の、合成対象の領域に対応する所定の重みに対する合成の重みを決定することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記算出手段により算出された特徴量が所定の閾値を超えない場合には、前記第１の画像または前記第２の画像の合成の重みを変化させず、前記特徴量が前記所定の閾値を超える場合に、合成の重みが前記所定の閾値に対応する合成の重みよりも低くなるように、合成の重みを決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記算出手段により算出された前記第１の画像の特徴量に基づき、前記第１の画像の特徴点を特定する特定手段を有し、
   前記合成手段は、前記第１の画像の前記特定手段により特定された特徴点に基づき前記第１の画像と前記第２の画像とを合成するための位置合わせを行うことにより、前記第１の画像と前記第２の画像とを合成することを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
6. 前記算出手段は、前記第１の画像に含まれる画素ごとの特徴量を算出することを特徴とする請求項１から５のいずれか１つに記載の画像処理装置。
7. 前記決定手段は、対象画素とその周囲の画素との色又は明るさの相違に基づいて前記第１の画像に含まれる画素の特徴量を算出することを特徴とする請求項６に記載の画像処理装置。
8. 前記特徴量は、エッジの程度を示すエッジ量であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 複数の画像から前記第１の画像をユーザの指示に応じて選択し、当該選択された第１の画像に基づき、当該複数の画像から前記第２の画像を選択する選択手段を備えることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記第１の画像と前記第２の画像はそれぞれ、動画像に含まれているフレームであることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記合成手段による合成により得られた出力画像を出力する出力手段を備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記出力手段は、前記出力画像を表示装置に表示させることを特徴とする請求項１１に記載の画像処理装置。
13. 前記出力手段は、前記出力画像を印刷装置に印刷させることを特徴とする請求項１１に記載の画像処理装置。
14. 合成対象の第１の画像における一部の領域の、所定の特徴の程度を示す特徴量を算出する算出工程と、
    前記算出工程において算出された前記第１の画像における領域の特徴量に基づき、前記第１の画像における前記領域の合成のための重み、または前記第１の画像の前記領域と合成される、合成対象の第２の画像における領域の合成のための重みを決定する決定工程と、
    前記第１の画像の領域または前記第２の画像の領域に対して前記決定工程において決定された合成の重みに基づいて重み付けを行うことにより、前記第１の画像と前記第２の画像とを合成する合成工程と、
    を備え、
    前記決定工程では、前記算出工程により算出された特徴量に応じた少なくとも３段階の重みを決定可能であり、前記第２の画像の重みが常に前記第１の画像の重み以下となり且つ当該少なくとも３段階の重みにおいて当該特徴量が大きいほど当該第２の画像における領域の重みが小さくなるように前記重みを決定することを特徴とする画像処理方法。
15. コンピュータに、
    合成対象の第１の画像における一部の領域の、所定の特徴の程度を示す特徴量を算出する算出工程と、
    前記算出工程において算出された前記第１の画像における領域の特徴量に基づき、前記第１の画像における前記領域の合成のための重み、または前記第１の画像の前記領域と合成される、合成対象の第２の画像における領域の重みを決定する決定工程と、
    前記第１の画像の領域または前記第２の画像の領域に対して前記決定工程において決定された合成の重みに基づいて重み付けを行うことにより、前記第１の画像と前記第２の画像とを合成する合成工程と、
    を実行させ、
    前記決定工程では、前記算出工程により算出された特徴量に応じた少なくとも３段階の重みを決定可能であり、前記第２の画像の重みが常に前記第１の画像の重み以下となり且つ当該少なくとも３段階の重みにおいて当該特徴量が大きいほど当該第２の画像における領域の重みが小さくなるように前記重みを決定させるためのプログラム。
16. 合成対象の第１の画像における一部の領域の、所定の特徴の程度を示す特徴量を算出する算出手段と、
    前記算出手段により算出された前記第１の画像における領域の特徴量に基づき、前記第１の画像における前記領域の合成のための重み、または前記第１の画像の前記領域と合成される、合成対象の第２の画像における領域の合成のための重みを決定する決定手段と、
    前記第１の画像の領域または前記第２の画像の領域に対して前記決定手段により決定された合成の重みに基づいて重み付けを行うことにより、前記第１の画像と前記第２の画像とを合成する合成手段と、
    を備え、
    前記決定手段は、前記算出手段により算出された特徴量に応じた少なくとも３段階の重みを決定可能であり、当該少なくとも３段階の重みにおいて当該特徴量が大きいほど当該第２の画像における領域の重みが小さくなるように、当該第２の画像の特徴量を用いることなく前記重みを決定することを特徴とする画像処理装置。
17. 合成対象の第１の画像における一部の領域の、所定の特徴の程度を示す特徴量を算出する算出工程と、
    前記算出工程において算出された前記第１の画像における領域の特徴量に基づき、前記第１の画像における前記領域の合成のための重み、または前記第１の画像の前記領域と合成される、合成対象の第２の画像における領域の合成のための重みを決定する決定工程と、
    前記第１の画像の領域または前記第２の画像の領域に対して前記決定工程において決定された合成の重みに基づいて重み付けを行うことにより、前記第１の画像と前記第２の画像とを合成する合成工程と、
    を備え、
    前記決定工程では、前記算出工程により算出された特徴量に応じた少なくとも３段階の重みを決定可能であり、当該少なくとも３段階の重みにおいて当該特徴量が大きいほど当該第２の画像における領域の重みが小さくなるように、当該第２の画像の特徴量を用いることなく前記重みを決定することを特徴とする画像処理方法。
18. コンピュータに、
    合成対象の第１の画像における一部の領域の、所定の特徴の程度を示す特徴量を算出する算出工程と、
    前記算出工程において算出された前記第１の画像における領域の特徴量に基づき、前記第１の画像における前記領域の合成のための重み、または前記第１の画像の前記領域と合成される、合成対象の第２の画像における領域の重みを決定する決定工程と、
    前記第１の画像の領域または前記第２の画像の領域に対して前記決定工程において決定された合成の重みに基づいて重み付けを行うことにより、前記第１の画像と前記第２の画像とを合成する合成工程と、
    を実行させ、
    前記決定工程では、前記算出工程により算出された特徴量に応じた少なくとも３段階の重みを決定可能であり、当該少なくとも３段階の重みにおいて当該特徴量が大きいほど当該第２の画像における領域の重みが小さくなるように、当該第２の画像の特徴量を用いることなく前記重みを決定させるためのプログラム。

Images