JP6326180B1 - 画像処理装置 - Google Patents

Abstract

画像処理装置は、基準画像と参照画像または参照画像から生成された合成画像とから各測定領域の動きベクトルとその信頼度を算出する離散動きベクトル算出部（２）と、動きベクトルおよび信頼度に基づいて、基準画像のグローバルベクトルおよびその信頼度、基準画像内の処理対象領域のローカルベクトル、ローカルベクトルの信頼度をそれぞれ算出するグローバルベクトル算出部（３）、ローカルベクトル補間部（４）およびローカルベクトル信頼度補間部（５）と、ローカルベクトルおよびその信頼度ならびにグローバルベクトルおよびその信頼度のうち少なくとも１つに基づいてローカルベクトルまたはグローバルベクトルを選択する動きベクトル選択部（６）と、選択されたベクトルに基づいて参照画像または合成画像の動き補償画像を生成する動き補償画像生成部（７）と、処理対象領域と動き補償画像とを加重加算するブレンド合成部（８）とを備える。

Description

本発明は、画像処理装置に関し、特に、複数枚の画像を合成することでノイズを低減するフレーム巡回型ノイズリダクションに関するものである。

従来、動画像のノイズ除去方法の１つとして、巡回型ノイズリダクションが知られている（例えば、特許文献１および２参照。）。特許文献１，２では、基準画像と該基準画像の１つ前に取得された参照画像とから、基準画像のグローバルベクトルと基準画像内の対象ブロックのローカルベクトルとを算出し、グローバルベクトルとローカルベクトルのそれぞれを用いて動き補償を実行して２つの動き補償画像を生成する。そして、基準画像と各動き補償画像との相関を算出し、相関が高い方の動き補償画像を基準画像と合成することで、ノイズが低減された基準画像を生成している。

特許第４６４５７３６号公報 特許第４５０６８７５号公報

２つの動き補償画像は、ノイズ低減処理後のフル解像度の参照画像に対して、それぞれグローバルベクトルとローカルベクトルと用いて動き補償処理を行ったものである。このような動き補償画像を生成するためには、その都度、ノイズ低減処理後の参照画像が保存されているフレームメモリへのアクセスが必要となる。したがって、各対象ブロックに対して２つの動き補償画像を生成する特許文献１，２の画像処理装置においては、別領域へのアクセスにより、データを転送するバス帯域の圧迫が生じるという課題がある。
グローバルベクトルとローカルベクトルの両方の動き補償画像を含む領域を１回のアクセスで取得しようとした場合には、取得すべき領域が大きくなり、データ量が増える。したがって、バス帯域の圧迫は避けられない。

本発明は、上述した事情に鑑みてなされたものであって、巡回型のノイズリダクションを行いつつフレームメモリへのアクセス量を削減することができる画像処理装置を提供することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明の一態様は、時系列的に取得された複数の画像をブレンド合成して合成画像を生成する画像処理装置であって、基準画像と該基準画像の前に取得された参照画像または該参照画像から生成された合成画像とに対して離散的な複数の測定領域を設定し、該複数の測定領域のそれぞれにおける動きベクトルおよび該動きベクトルの信頼度を算出する離散動きベクトル算出部と、該離散動きベクトル算出部によって算出された前記動きベクトルおよび前記信頼度に基づいて、前記基準画像の全体の動きを示すグローバルベクトルおよび該グローバルベクトルの信頼度を算出するグローバルベクトル算出部と、前記離散動きベクトル算出部によって算出された複数の前記動きベクトルから、前記基準画像内の処理対象領域におけるローカルベクトルを算出するローカルベクトル補間部と、前記離散動きベクトル算出部によって算出された前記複数の動きベクトルの信頼度から前記処理対象領域における前記ローカルベクトルの信頼度を算出するローカルベクトル信頼度補間部と、前記グローバルベクトル、前記グローバルベクトルの信頼度、前記ローカルベクトル、および前記ローカルベクトルの信頼度のうち少なくとも１つに基づいて、前記ローカルベクトルおよび前記グローバルベクトルのいずれかを選択する動きベクトル選択部と、該動きベクトル選択部によって選択されたベクトルに基づいて、前記基準画像内の前記処理対象領域に対応する前記参照画像または前記合成画像の動き補償画像を生成する動き補償画像生成部と、前記基準画像内の前記処理対象領域と前記動き補償画像とを加重加算するブレンド合成部とを備える画像処理装置である。

本態様によれば、離散動きベクトル算出部によって、基準画像内に離散的に設定された複数の測定領域の動きベクトルおよびこれらの信頼度が基準画像と参照画像とから算出され、次いで、グローバルベクトル算出部によって基準画像のグローバルベクトルが算出されるとともに、ローカルベクトル補間部およびローカルベクトル信頼度補間部によって、基準画像内の処理対象領域のローカルベクトルおよびこれの信頼度がそれぞれ算出される。次いで、動きベクトル選択部によって、グローバルベクトルおよびローカルベクトルのいずれかが選択され、動き補償画像生成部によって、選択されたベクトルを用いて参照画像または参照画像に基づく合成画像から動き補償画像が生成される。そして、ブレンド合成部によって、基準画像内の処理対象領域に動き補償画像を加重加算することで、ノイズが低減された基準画像を生成することができる。

この場合に、動き補償画像の生成に先立ち、グローバルベクトルおよびローカルベクトルの一方が選択され、１つの処理対象領域に対して動き補償画像が１枚のみ作成される。これにより、参照画像または合成画像が保存されているフレームメモリへのアクセス量を削減することができる。

上記態様においては、前記動きベクトル選択部が、前記ローカルベクトルの信頼度に対する閾値を設定するローカルベクトル閾値設定部と、前記ローカルベクトルの信頼度が前記閾値以上である場合にローカルベクトルを選択し、前記ローカルベクトルの信頼度が前記閾値未満である場合にグローバルベクトルを選択するベクトル決定部とを備えていてもよい。
このようにすることで、簡便な閾値判定によってローカルベクトルおよびグローバルベクトルのいずれを選択するかを決定することができる。

上記態様においては、前記ローカルベクトル閾値設定部が、前記閾値を所定の値に設定してもよい。
このようにすることで、ベクトルの選択精度を安定させることができる。

上記態様においては、前記ローカルベクトル閾値設定部が、前記グローバルベクトルの信頼度、大きさ、または、信頼度と大きさの両方に基づいて前記閾値を補正してもよい。
ローカルベクトルおよびその信頼度は、動きベクトルの計算誤差の影響を受けやすいのに対し、グローバルベクトルおよびその信頼度は、動きベクトルの計算誤差の影響を受け難い。したがって、グローバルベクトルの大きさおよび信頼度の少なくとも一方も考慮することで、動きベクトルの計算誤差等がベクトル決定部によるベクトルの選択結果に与える影響を低減し、より適切なベクトルを選択することができる。

上記態様においては、前記ローカルベクトル閾値設定部が、前記グローバルベクトルの信頼度、および、前記グローバルベクトルと前記ローカルベクトルとの差に基づいて、前記閾値を補正してもよい。
このようにすることで、グローバルベクトルの信頼度と、グローバルベクトルとローカルベクトルとの差とから、ローカルベクトルの正確さを評価し、閾値の適切な補正を実行することができる。

上記態様においては、前記ベクトル決定部が、前記グローバルベクトルの信頼度、および、前記グローバルベクトルと前記ローカルベクトルとの差に基づいて、前記ローカルベクトルの信頼度を補正してもよい。
このようにすることで、グローバルベクトルの信頼度と、グローバルベクトルとローカルベクトルとの差とから、ローカルベクトルの正確さを評価し、ローカルベクトルの信頼度の適切な補正を実行することができる。

上記態様においては、前記離散動きベクトル算出部が、前記基準画像と前記参照画像または前記合成画像とを縮小する画像縮小部を備え、該画像縮小部によって縮小された基準画像と前記画像縮小部によって縮小された参照画像または合成画像とから、前記動きベクトルおよびこれらの信頼度を算出してもよい。
このようにすることで、保存する画像データのサイズを抑制することができる。

本発明によれば、巡回型のノイズリダクションを行いつつフレームメモリへのアクセス量を削減することができるという効果を奏する。

本発明の一実施形態に係る画像処理装置および撮像システムの全体構成図である。 縮小された現在フレームおよび過去フレーム内に設定される測定領域と、縮小された現在フレーム内の測定領域における動きベクトルの一例を示す図である。 信頼度判定後の図２Ａの現在フレームの一例を示す図である。 図２Ｂの現在フレームの動きベクトルの統計処理結果を示す図表である。 縮小された現在フレームの動きベクトルの他の例を示す図である。 現在フレーム内の処理対象領域のローカルベクトルおよびその信頼度の算出処理の一例を説明する図である。 現在フレーム内の処理対象領域のローカルベクトルおよびその信頼度の算出処理の他の例を説明する図である。 ローカルベクトルの信頼度と選択されるベクトルとの関係を表す図である。 基準画像の処理対象領域と動き補償画像との間の類似度と、ブレンド合成比率との関係の一例を示すグラフである。 ブレンド合成の処理シーケンスを模式的に示す図である。 図１の画像処理装置における画像処理のシーケンスを示す図である。 現在フレーム内の処理対象領域のローカルベクトルおよびその信頼度の算出処理の他の例を説明する図である。 図９の変形例における、ローカルベクトルの信頼度と選択されるベクトルとの関係を表す図である。 図９の変形例における、ローカルベクトルの信頼度と選択されるベクトルとの他の関係を表す図である。 グローバルベクトルとローカルベクトルとの差分絶対値と、閾値との対応関係の一例を示すグラフである。 グローバルベクトルとローカルベクトルとの差分絶対値と、閾値との対応関係の他の例を示すグラフである。 グローバルベクトルとローカルベクトルとの差分絶対値と、ローカルベクトルの信頼度に対するオフセット値との対応関係の一例を示すグラフである。 グローバルベクトルとローカルベクトルとの差分絶対値と、ローカルベクトルの信頼度に対するオフセット値との対応関係の他の例を示すグラフである。 従来技術に係る動き補償画像の生成処理を説明する図である。

本発明の一実施形態に係る画像処理装置およびこれを備える撮像システムについて図面を参照して以下に説明する。
図１に示される撮像システム１００は、例えば、静止画や動画像を撮影して記録するデジタルビデオカメラ、デジタルスチルカメラ等である。図１は、撮像システム１００のブロック構成を示している。

図１に示されるように、撮像システム１００は、被写体を撮像して画像として取り込む画像入力部１と、現在のフレーム画像内の動きベクトルを算出する離散動きベクトル算出部２と、現在のフレーム画像のグローバルベクトルおよびその信頼度を算出するグローバルベクトル算出部３と、現在のフレーム画像内の処理対象領域毎のローカルベクトルを算出するローカルベクトル補間部４と、各ローカルベクトルの信頼度を算出するローカルベクトル信頼度補間部５と、処理対象領域毎にグローバルベクトルおよびローカルベクトルのいずれかを選択する動きベクトル選択部６と、現在のフレーム画像の１つ前のフレーム画像から各処理対象領域用の動き補償画像を作成する動き補償画像生成部７と、現在のフレーム画像内の処理対象領域と動き補償画像とをブレンド合成することでノイズが低減された現在のフレーム画像を出力画像（合成画像）として生成するブレンド合成部８と、上記処理に必要な画像データを保存するフレームメモリ９とを備える。
画像処理装置は、離散動きベクトル算出部２、グローバルベクトル算出部３、ローカルベクトル信頼度補間部５、ローカルベクトル補間部４、動きベクトル選択部６、動き補償画像生成部７、ブレンド合成部８、およびフレームメモリ９を備えている。

画像入力部１は、例えば、被写体からの光を集光して光学像を形成する撮像レンズと、撮像レンズによって形成された光学像を撮像して画像を取得する撮像素子とを備えている。撮像素子は、例えば、ベイヤ配列構造を有しており、フレーム画像のベイヤ配列のＲＡＷデータを生成し、ＲＡＷデータにデモザイキング処理を施すことでフルカラー化する。画像入力部１は、フルカラー化されたフレーム画像のデータを離散動きベクトル算出部２およびブレンド合成部８に出力する。したがって、ブレンド合成部８ではフルカラーの出力画像が合成される。

離散動きベクトル算出部２は、画像縮小部２ａを備えている。離散動きベクトル算出部２は、画像入力部１から入力された現在のフレーム画像（基準画像。以下、「現在フレーム」という。）と、時間方向において現在フレームの１つ前のフレーム画像（参照画像。以下、「過去フレーム」という。）とを画像縮小部２ａにおいて縮小した後に、フレームメモリ９に出力する。フレームの縮小処理には、例えば、画素の間引き処理や、バイキュービック法等が用いられる。したがって、フレームメモリ９には、縮小された現在フレームと縮小された過去フレームが保存される。

フレームメモリ９に保存される、縮小された過去フレームは、ブレンド合成部８から出力される出力画像である、ノイズ低減処理が施された過去フレームを縮小したものであってもよい。この場合、出力画像の縮小処理は、ブレンド合成部８および画像縮小部２ａのいずれで行ってもよい。

画像入力部１は、フルカラー化を行わずにＲＡＷデータをそのまま離散動きベクトル算出部２およびブレンド合成部８に出力してもよい。この場合、離散動きベクトル算出部２の画像縮小部２ａでは、ＲＡＷデータから簡易的に輝度信号Ｙを生成する。例えば、バイリニア法等のデモザイキング処理によってカラー化することでＲＡＷデータをＹＣｂＣｒ形式のデータに変換し、輝度信号Ｙを生成する。あるいは、ベイヤ配列のＲ、Ｇｒ、Ｇｂ、Ｂの４画素の信号値を加算平均することで、４画素の中心位置の擬似的な輝度信号Ｙを生成する。このようにして輝度信号Ｙを生成した後に、縮小処理が行われる。

離散動きベクトル算出部２は、縮小された現在フレームＦ１と縮小された過去フレームＦ０とをフレームメモリ９から読み出し、図２Ａに示されるように、現在フレームＦ１内の離散的な測定領域Ａ毎に、過去フレームＦ０と現在フレームＦ１との間での被写体の動きを表す動きベクトルを算出する。図２Ａおよび図２Ｂの測定領域Ａ内の矢印は、算出された動きベクトルを示している。

具体的には、離散動きベクトル算出部２は、現在フレームＦ１に対し、測定領域Ａを間隔を空けて（好ましくは等間隔で）設定する。また、離散動きベクトル算出部２は、過去フレームＦ０に対し、現在フレームＦ１内の測定領域Ａと同一座標位置に同一の大きさの測定領域Ａ’を設定する。次に、離散動きベクトル算出部２は、設定された探索範囲内で過去フレームＦ０内の測定領域Ａ’の位置をずらしながら、対応する測定領域Ａ，Ａ’間で相関演算を行い、相関値が最大となる位置において測定領域Ａ，Ａ’間の動きベクトル（以下、「離散動きベクトル」という。）を算出する。相関演算としては、例えば、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｕｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）またはＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）によるブロックマッチング処理が用いられる。

離散動きベクトル算出部２は、算出された各離散動きベクトルの信頼度も同時に算出する。例えば、ＳＡＤによるブロックマッチング処理を相関演算に用いる場合には、マッチング処理の過程で算出されるＳＡＤの値に基づいて信頼度が算出される。ブロックマッチング処理では、相関値が最大となるときにＳＡＤが最小となる。離散動きベクトル算出部２は、最小のＳＡＤと、値が小さい方から数えて所定番目（例えば、数十番目）のＳＡＤとの差を算出し、差が所定の閾値未満である場合には、低コントラスト領域と判定して信頼度を低くし、差が閾値以上である場合には信頼度を高くする。このようにして、離散動きベクトル算出部２は、離散動きベクトルと信頼度とをセットで算出する。図２Ｂにおいて、領域Ｂは、測定領域Ａの内、低コントラスト領域と判定された低信頼度の領域である。離散動きベクトルの信頼度は、所定の閾値とＳＡＤとの差に基づいて算出されるスカラ値であってもよい。

離散動きベクトル算出部２によって算出された離散動きベクトルとこれらの信頼度は、グローバルベクトル算出部３に入力される。また、離散動きベクトル算出部２によって算出された離散動きベクトルは、ローカルベクトル補間部４に入力され、離散動きベクトル算出部２によって算出された離散動きベクトルの信頼度は、ローカルベクトル信頼度補間部５に入力される。

グローバルベクトル算出部３は、現在フレームＦ１内の複数の離散動きベクトルとこれらの信頼度とを統計処理することにより、現在フレームＦ１の全体の動きを表すグローバルベクトルと、該グローバルベクトルの信頼度とを算出する。図３は、グローバルベクトルとその信頼度の算出方法の一例を示している。図３の例では、信頼度が所定値以下である低信頼度の離散動きベクトルを除外してその他の離散動きベクトルの頻度を算出し、最も頻度の高い離散動きベクトルをグローバルベクトルに決定している。グローバルベクトルの信頼度は、最も頻度の高い離散動きベクトルの頻度を閾値と比較し、頻度が閾値よりも高い程、信頼度が高くなり、頻度が閾値よりも低い程、信頼度が低くなるように、算出している。グローバルベクトルの信頼度は、閾値と頻度との差に基づいて算出されるスカラ値であってもよい。

ローカルベクトル補間部４は、離散動きベクトル算出部２から受け取った離散動きベクトルを用いて、現在フレーム内に設定された処理対象領域のローカルベクトルを算出する。処理対象領域は、３画素×３画素または９画素×９画素のような小領域であってもよく、１画素であってもよい。

図４Ａは、離散動きベクトルの例を示し、図４Ｂおよび図４Ｃは、処理対象領域Ｒと、この処理対象領域Ｒの近隣の４つの離散動きベクトルを示している。ＶｘおよびＶｙはそれぞれ、現在フレームの水平方向（Ｘ方向）および垂直方向（Ｙ方向）におけるベクトル成分である。
例えば、図４Ｂおよび図４Ｃに示されるように、ローカルベクトル補間部４は、処理対象領域Ｒの近隣の複数の離散動きベクトルを、各離散動きベクトルと処理対象領域Ｒとの距離を考慮して重み付け平均することで、処理対象領域Ｒのローカルベクトルを算出する。あるいは、ローカルベクトル補間部４は、処理対象領域Ｒに最も近い離散動きベクトルを処理対象領域Ｒのローカルベクトルに決定するニアレストネイバ法を用いてもよい。
ローカルベクトル補間部４は、上記の補間処理を、現在フレームの全ての画素に対応する処理対象領域Ｒについて実施する。

ローカルベクトル信頼度補間部５は、離散動きベクトル算出部２から受け取った離散動きベクトルの信頼度を用いて、処理対象領域Ｒにおけるローカルベクトルの信頼度を算出する。
例えば、図４Ｂおよび図４Ｃに示されるように、ローカルベクトル信頼度補間部５は、ローカルベクトルの算出に用いられる処理対象領域Ｒの近隣の複数の離散動きベクトルの信頼度を、各離散動きベクトルと処理対象領域Ｒとの距離を考慮して重み付け平均することで、処理対象領域Ｒのローカルベクトルの信頼度を算出する。あるいは、ローカルベクトル信頼度補間部５は、処理対象領域Ｒに最も近い離散動きベクトルの信頼度を処理対象領域Ｒの信頼度に決定するニアレストネイバ法を用いてもよい。
ローカルベクトル信頼度補間部５は、上記の処理を全ての処理対象領域Ｒについて実施する。

図４Ｂの例では、処理対象領域Ｒの近隣の左上、右上、左下、右下の４つの離散動きベクトルが全て同一であり、各離散動きベクトルの信頼度は６４、５０、６０、５５である。したがって、ローカルベクトル補間部４において、４つの離散動きベクトルを重み付け平均した結果、４つの離散動きベクトルと同一のローカルベクトルが算出される。また、ローカルベクトル信頼度補間部５において、４つの離散動きベクトルの信頼度を重み付け平均した結果、ローカルベクトルの信頼度は５７と算出される。

図４Ｃの例では、処理対象領域Ｒの近隣の左上と左下の離散動きベクトルは同一であり、これらの信頼度はそれぞれ５０および６４である。一方、処理対象領域Ｒの近隣の右上の離散動きベクトルは下向きであり、右下の離散動きベクトルは右上向きであり、これらの信頼度それぞれ４および３である。つまり、処理対象領域Ｒの右上および右下の領域は低コントラスト領域であるため、信頼度が低くなっている。したがって、ローカルベクトル補間部４において、４つの離散動きベクトルを重み付け平均した結果、処理対象領域Ｒの実際の動きとは異なるローカルベクトルが算出される。また、ローカルベクトル信頼度補間部５において、４つの離散動きベクトルの信頼度を重み付け平均した結果、ローカルベクトルの信頼度は３０と算出される。

動きベクトル選択部６には、グローバルベクトルおよびグローバルベクトルの信頼度がグローバルベクトル算出部３から入力される。また、動きベクトル選択部６には、ローカルベクトルがローカルベクトル補間部４から入力されるとともに、ローカルベクトルの信頼度がローカルベクトル信頼度補間部５から入力される。動きベクトル選択部６は、グローバルベクトルおよびこれの信頼度と、ローカルベクトルおよびこれらの信頼度の４種類の情報の内、１つ以上に基づいて、動き補償に使用するベクトルを処理対象領域Ｒ毎に１つ選択する。

具体的には、動きベクトル選択部６は、図１に示されるように、ローカルベクトルの信頼度に対する閾値を設定するローカルベクトル閾値設定部６ａと、ローカルベクトルの信頼度と閾値とに基づいてローカルベクトルおよびグローバルベクトルのいずれかを選択するベクトル決定部６ｂとを備える。
図５は、ローカルベクトルの信頼度と、選択されるベクトルとの関係を示している。閾値は、例えばメーカーパラメータとして、所定の値に予め設定されている。図５の例では、閾値は４５である。

ベクトル決定部６ｂは、算出されたローカルベクトルの信頼度を閾値と比較する。比較の結果、ローカルベクトルの信頼度が閾値以上である場合、ベクトル決定部６ｂはローカルベクトルを選択し、ローカルベクトルの信頼度が閾値未満である場合、ベクトル決定部６ｂはグローバルベクトルを選択する。したがって、図４Ａの例の場合、ローカルベクトルの信頼度５７は閾値４５よりも高いので、ローカルベクトルが選択される。一方、図４Ｂの例の場合、ローカルベクトルの信頼度３０は閾値４５よりも低いので、グローバルベクトルが選択される。
ベクトル決定部６ｂによるベクトルの選択結果の情報は、動きベクトル選択部６から動き補償画像生成部７に入力される。

動き補償画像生成部７は、動きベクトル選択部６からのベクトルの選択結果の情報に従ってフレームメモリ９に保存されている過去フレームにアクセスして、現在フレーム内の各処理対象領域Ｒとの合成に使用される動き補償画像を生成する。

具体的には、動き補償画像生成部７は、ローカルベクトルが選択された処理対象領域Ｒについては、処理対象領域Ｒをそのローカルベクトルを用いて過去フレームに対して位置合わせし、過去フレーム内の位置合わせされた領域をフレームメモリ９から読み出し、読み出された領域を動き補償画像とする。
一方、動き補償画像生成部７は、グローバルベクトルが選択された処理対象領域Ｒについては、処理対象領域Ｒをグローバルベクトルを用いて過去フレームに対して位置合わせし、過去フレーム内の位置合わせされた領域をフレームメモリ９から読み出し、読み出された領域を動き補償画像とする。
生成された各処理対象領域Ｒの動き補償画像は、動き補償画像生成部７からブレンド合成部８に入力される。

ブレンド合成部８は、画像入力部１からの現在フレームの処理対象領域Ｒと、動き補償画像生成部７からの過去フレームの動き補償画像とをブレンド合成（加重加算）することで、ノイズが低減された現在フレームである出力画像を生成する。ブレンド合成する際、ブレンド合成部８は、処理対象領域Ｒと動き補償画像との間でＳＡＤ等の相関演算により類似度を算出し、類似度に基づいてブレンド合成比率を算出し、算出されたブレンド合成比率に従って処理対象領域Ｒと動き補償画像とを合成する。類似度とブレンド合成比率の例を図６に示す。図６に示されるように、ブレンド合成部８は、類似度が高い（ＳＡＤが小さい）程、動き補償画像の合成比率αが高くなるように、合成比率αを算出する。

図７は、ブレンド合成の処理シーケンスを動画像のフレーム巡回型ノイズリダクションを例に示している。図７に示されるように、動画撮影において、１番目のフレーム画像はそのまま出力画像となる。次に、２番目のフレーム画像が撮影されると、保存されている１番目の出力画像と２番目のフレーム画像とを決定されたブレンド合成比率αを用いて処理対象領域Ｒ毎に合成して、２番目の出力画像が生成される。３番目のフレーム画像以降は、同様に、現在のフレーム画像と直前の出力画像とから出力画像が生成される。

次に、このように構成された画像処理装置およびこれを備える撮像システム１００の作用について説明する。図８は、画像処理装置における画像処理のシーケンスを示している。
図８に示されるように、画像入力部１の動画撮影においてＮ回目の撮影が実行されると、基準画像であるＮ番目のフレーム画像（Ｎフレーム）が画像入力部１から離散動きベクトル算出部２内の画像縮小部２ａに入力され、画像縮小部２ａにおいて縮小され、縮小されたＮ番目のフレーム画像がフレームメモリ９に保存される。

この時点では、フレームメモリ９に、縮小されたＮ−１番目のフレーム画像（Ｎ−１フレーム）が既に保存されている。この縮小されたＮ−１番目のフレーム画像は、ブレンド合成部８によって既に生成されたＮ−１番目の出力画像を縮小したものであってもよい。離散動きベクトル算出部２では、縮小されたＮ番目のフレーム画像と縮小されたＮ−１番目のフレーム画像とを使用して、縮小されたＮ番目のフレーム画像内に離散的に設定された複数の測定領域Ａにおける離散動きベクトルおよびこれらの信頼度が算出される。

次いで、グローバルベクトル算出部３において、Ｎ番目のフレーム画像のグローバルベクトルが、離散動きベクトルおよびこれらの信頼度に基づいて算出される。また、ローカルベクトル補間部４において、Ｎ番目のフレーム画像内の各処理対象領域Ｒのローカルベクトルが、その処理対象領域Ｒを囲む近隣の複数の離散動きベクトルに基づいて算出される。また、ローカルベクトル信頼度補間部５において、Ｎ番目のフレーム画像内の各処理対象領域Ｒのローカルベクトルの信頼度が、その処理対象領域Ｒを囲む近隣の複数の離散動きベクトルの信頼度に基づいて算出される。

次いで、動きベクトル選択部６において、グローバルベクトルとこれの信頼度およびローカルベクトルとこれらの信頼度の４つの情報に基づき、各処理対象領域Ｒ用の動き補償画像の生成に使用されるベクトルが、グローバルベクトルとローカルベクトルの中から選択される。
次いで、動き補償画像生成部７において、選択されたベクトルに基づいて各処理対象領域Ｒ用の動き補償画像が、フレームメモリ９に保存されているＮ−１番目のフレーム画像から生成される。
次いで、ブレンド合成部８において、各処理対象領域Ｒとその動き補償画像との類似度に基づいてブレンド合成比率が算出され、算出されたブレンド合成比率に従って各処理対象領域Ｒと動き補償画像とを合成することで、出力画像が生成される。

図１３は、動き補償画像の従来の生成処理を示している。この処理において、参照画像であるＮ−１番目のフレーム画像の内、グローバルベクトルおよびローカルベクトルのそれぞれによって位置合わせされた２つの領域にアクセスすることで、グローバルベクトルを使用した動き補償画像とローカルベクトルを使用した動き補償画像とが生成される。そして、２つの動き補償画像と処理対象領域Ｒとの相関演算を行い、より高い相関が得られた動き補償画像がＮフレーム画像の処理対象領域Ｒとのブレンド合成に使用される。
このように、従来の方法においては、１つ処理対象領域Ｒの動き補償を行うためにフレームメモリ９へ２度アクセスする必要がある。そのため、フレームメモリ９へのバス帯域が圧迫される。

これに対し、本実施形態によれば、動き補償画像の生成前に、グローバルベクトルおよびローカルベクトルのいずれかが選択されるので、１つの処理対象領域Ｒについて、フレームメモリ９へのアクセスが１度で済む。このように、フレームメモリ９へのアクセス量を低減し、バス帯域の圧迫を軽減することができるという利点がある。

本実施形態においては、ローカルベクトルとグローバルベクトルのいずれを選択するかをローカルベクトルの信頼度に基づいて決定することとしたが、これに代えて、グローバルベクトルの信頼度、および、グローバルベクトルとローカルベクトルとの差に基づいて決定してもよい。
ベクトルの選択方法の変形例について図９から図１２Ｂを参照して説明する。

図９の例において、処理対象領域Ｒの近隣にＶｘ＝５、Ｖｙ＝０の離散動きベクトルが３つ存在し、補間されたローカルベクトルはＶｘ＝５、Ｖｙ＝０であり、その信頼度は５７である。一方、グローバルベクトルはＶｘ＝６、Ｖｙ＝０であり、その信頼度は６４である。上述した実施形態のベクトル選択方法によれば、ローカルベクトルの信頼度が閾値４５よりも高いため、ローカルベクトルが選択される。しかしながら、図９の例では、グローバルベクトルの信頼度が高く、かつ、グローバルベクトルが上記３つの離散動きベクトルと近似している。このことから、処理対象領域Ｒの近隣において局所的に、計算誤差によるＶｘ＝５、Ｖｙ＝０の離散動きベクトルが集中し、４つのローカルベクトルおよびこれらの信頼度が正確でないかもしれないことが予測される。

動きベクトル選択部６は、グローバルベクトルとローカルベクトルとの間の、ＶｘおよびＶｙそれぞれの差分の絶対値（差分絶対値）を算出する。図９の例では、Ｖｘの差分絶対値は１と算出され、Ｖｙの差分絶対値は０と算出される。ローカルベクトル閾値設定部６ａは、図１０Ａに示されるように、差分絶対値が小さい程、閾値が大きくなるように、差分絶対値に基づいて閾値を補正する。図１０Ａの例では、閾値が６５に補正されている。これにより、グローバルベクトルとローカルベクトルとの差が小さいときには、ローカルベクトルが選択され難くなる。閾値の補正は、例えば、グローバルベクトルの信頼度が所定値よりも大きいときにのみ、実行される。
このようにすることで、離散動きベクトルの計算誤差がベクトル決定部６ｂによるベクトルの選択結果に与える影響を低減し、適切なベクトルを選択することができる。

図１１Ａおよび図１１Ｂは、差分絶対値と閾値との対応関係の例を表している。例えば、ローカルベクトル閾値設定部６ａは、図１１Ａに示されるように、差分絶対値が大きい程、閾値を小さい値に補正する。あるいは、図１１Ｂに示されるように、ローカルベクトル閾値設定部６ａは、差分絶対値が所定値以上のときに、差分絶対値が所定値未満のときに比べて小さくなるように、閾値を２段階で補正してもよい。

閾値を補正することに代えて、図１０Ｂに示されるように、差分絶対値が小さい程、ローカルベクトルの信頼度が小さくなるように、ベクトル決定部６ｂが、差分絶対値に基づいてローカルベクトルの信頼度を補正してもよい。図１０Ｂの例では、ベクトル決定部６ｂは、信頼度５７からオフセット値３０を差し引くことで、ローカルベクトルの信頼度を２７に補正している。このようにしても、閾値の補正と同一の効果が得られる。

図１２Ａおよび図１２Ｂは、差分絶対値とオフセット値との対応関係の例を表している。例えば、ベクトル決定部６ｂは、図１２Ａに示されるように、差分絶対値が大きい程、オフセット値をより小さい値に設定する。あるいは、ベクトル決定部６ｂは、図１２Ｂに示されるように、差分絶対値が所定値以上のときに、差分絶対値が所定値未満のときに比べて小さくなるように、オフセット値を２段階で変更してもよい。

上述した差分絶対値と閾値の補正値またはオフセット値との対応関係を画像の解像度に応じて変更することができるように、複数種類の対応関係が設定されていてもよい。例えば、図１１Ｂおよび図１２Ｂの例では、ＦｕｌｌＨＤの場合に、Ｘ画素以上の絶対差分値において閾値の補正値またはオフセット値が小さくなるように設定され、４Ｋの場合、２Ｘ画素以上の絶対差分値において閾値の補正値またはオフセット値が小さくなるように設定されていてもよい。

上記の変形例においては、差分絶対値に基づいて、ローカルベクトルの信頼度に対する閾値またはローカルベクトルを補正することで、適切なベクトルが選択されるように制御することとしたが、これに代えて、他の手段によってベクトルの選択を制御してもよい。ベクトルの選択方法の他の例について以下に説明する。
第１の例において、ローカルベクトル閾値設定部６ａは、グローバルベクトルの信頼度のみに基づいて閾値を補正する。例えば、ローカルベクトル閾値設定部６ａは、グローバルベクトルの信頼度が所定の値よりも大きい場合に、閾値をより大きな値に補正する。

第２の例において、ローカルベクトル閾値設定部６ａは、グローバルベクトルの大きさのみを用いて閾値を補正する。例えば、ローカルベクトル閾値設定部６ａは、グローバルベクトルの大きさが所定値よりも大きい場合に、閾値をより小さい値に補正して、グローバルベクトルが選択され難いように制御する。グローバルベクトルの大きさは、ＶｘおよびＶｙのうち、大きい方の大きさであってもよく、ＶｘとＶｙの合成ベクトルＶｘ+Ｖｙの大きさであってもよい。

第３の例は、第１の例および第２の例の組み合わせであり、ローカルベクトル閾値設定部６ａは、グローバルベクトルの信頼度および大きさに基づいて、閾値を補正する。例えば、ローカルベクトル閾値設定部６ａは、第１の例のようにグローバルベクトルの信頼度に基づいて閾値を補正した後、第２の例のように、グローバルベクトルの大きさに基づいて閾値を補正することで、閾値を２段階で補正する。

本実施形態およびその変形例においては、グローバルベクトルとローカルベクトルのいずれを選択するかを、ローカルベクトルの信頼度の閾値判定によって決定することとしたが、これに代えて、グローバルベクトルの信頼度の閾値判定によって決定してもよい。

本実施形態においては、巡回型のノイズリダクションを目的する合成処理について説明したが、画像合成の目的はこれに限定されるものではない。例えば、基準画像内の処理対象領域と、これと位置合わせされた動き補償画像との合成が必要となる静止画の複数枚合成ノイズリダクションや、ＨＤＲ(Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ)、超解像画像のような様々な画像の合成処理に本実施形態の画像処理装置を適用することができる。

１ 画像入力部
２ 離散動きベクトル算出部
３ グローバルベクトル算出部
４ ローカルベクトル補間部
５ ローカルベクトル信頼度補間部
６ 動きベクトル選択部
７ 動き補償画像生成部
８ ブレンド合成部
９ フレームメモリ
１００ 撮像システム

Claims (9)

1. 時系列的に取得された複数の画像をブレンド合成して合成画像を生成する画像処理装置であって、
   基準画像と該基準画像の前に取得された参照画像または該参照画像から生成された合成画像とに対して離散的な複数の測定領域を設定し、該複数の測定領域のそれぞれにおける動きベクトルおよび該動きベクトルの信頼度を算出する離散動きベクトル算出部と、
   該離散動きベクトル算出部によって算出された前記動きベクトルおよび前記信頼度に基づいて、前記基準画像の全体の動きを示すグローバルベクトルおよび該グローバルベクトルの信頼度を算出するグローバルベクトル算出部と、
   前記離散動きベクトル算出部によって算出された複数の前記動きベクトルから、前記基準画像内の処理対象領域におけるローカルベクトルを算出するローカルベクトル補間部と、
   前記離散動きベクトル算出部によって算出された前記複数の動きベクトルの信頼度から前記処理対象領域における前記ローカルベクトルの信頼度を算出するローカルベクトル信頼度補間部と、
   前記グローバルベクトル、前記グローバルベクトルの信頼度、前記ローカルベクトル、および前記ローカルベクトルの信頼度のうち少なくとも１つに基づいて、前記ローカルベクトルおよび前記グローバルベクトルのいずれかを選択する動きベクトル選択部と、
   該動きベクトル選択部によって選択されたベクトルに基づいて、前記基準画像内の前記処理対象領域に対応する前記参照画像または前記合成画像の動き補償画像を生成する動き補償画像生成部と、
   前記基準画像内の前記処理対象領域と前記動き補償画像とを加重加算するブレンド合成部とを備える画像処理装置。
2. 前記動きベクトル選択部が、
   前記ローカルベクトルの信頼度に対する閾値を設定するローカルベクトル閾値設定部と、
   前記ローカルベクトルの信頼度が前記閾値以上である場合にローカルベクトルを選択し、前記ローカルベクトルの信頼度が前記閾値未満である場合にグローバルベクトルを選択するベクトル決定部とを備える請求項１に記載の画像処理装置。
3. 前記ローカルベクトル閾値設定部が、前記閾値を所定の値に設定する請求項２に記載の画像処理装置。
4. 前記ローカルベクトル閾値設定部が、前記グローバルベクトルの信頼度に基づいて前記閾値を補正する請求項３に記載の画像処理装置。
5. 前記ローカルベクトル閾値設定部が、前記グローバルベクトルの大きさに基づいて前記閾値を補正する請求項３に記載の画像処理装置。
6. 前記ローカルベクトル閾値設定部が、前記グローバルベクトルの信頼度および前記グローバルベクトルの大きさに基づいて前記閾値を補正する請求項３に記載の画像処理装置。
7. 前記ローカルベクトル閾値設定部が、前記グローバルベクトルの信頼度、および、前記グローバルベクトルと前記ローカルベクトルとの差に基づいて、前記閾値を補正する請求項３に記載の画像処理装置。
8. 前記ベクトル決定部が、前記グローバルベクトルの信頼度、および、前記グローバルベクトルと前記ローカルベクトルとの差に基づいて、前記ローカルベクトルの信頼度を補正する請求項２に記載の画像処理装置。
9. 前記離散動きベクトル算出部が、
   前記基準画像と前記参照画像または前記合成画像とを縮小する画像縮小部を備え、
   該画像縮小部によって縮小された基準画像と前記画像縮小部によって縮小された参照画像または合成画像とから、前記動きベクトルおよびこれらの信頼度を算出する請求項１から請求項８のいずれかに記載の画像処理装置。

Images