JP6137437B1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

撮像視点が異なる複数枚の撮像画像を入力し、設定した基準画像とそれぞれの撮像画像との画素位置ずれを合わせて合成画像を生成するとともに、合成した前記合成画像の画素ごとに画素密度情報を生成する複数枚画像合成部１０と、前記合成画像から、ベース成分とディテール成分とに分離する成分分離部２０と、前記ベース成分の画素値に応じてベース成分ゲイン値を決定するベース成分ゲイン決定部３０と、前記画素密度情報に基づいてディテール成分ゲイン値を決定するディテール成分ゲイン決定部４０と、前記ベース成分に前記ベース成分ゲイン値を乗算したものと前記ディテール成分に前記ディテール成分ゲイン値を乗算したものとを合成して出力画像を生成する成分合成部５０とを備えた。

Description

この発明は、撮像素子の画像から撮像素子がもつダイナミックレンジよりも高いダイナミックレンジの画像を生成する画像処理装置及び画像処理方法に関する。

入射された光を画像データに変換する撮像素子（カメラまたはセンサともいう）が撮像できる最も明るい部分と暗い部分との間の範囲であるダイナミックレンジは、撮像素子の性能上、限られた範囲である。そのため、撮像する領域の明るい部分の細かい描写が映るように露出を調整すれば撮像する領域の暗い部分は黒つぶれを起こし、暗い部分の描写が分からなくなる。一方、撮像する領域の暗い部分の細かい描写が映るように露出を調整すれば撮像する領域の明るい部分に白飛びが発生し、明るい部分の描写が分からなくなる。「白飛び」とは、明るい部分の階調が失われ真っ白になっている様子を言う。

そこで、撮像された画像に対して表示に適した輝度範囲に変換する手法であるトーンマッピング手法として、画像の階調の応答特性を示す数値であるガンマ値に応じた最適のカーブに画像の階調を補正するガンマ補正を用いる手法または、画像の明るさの分布を表わすヒストグラムを平坦化するヒストグラム平坦化を用いる手法などが一般的に知られている。

ただし、撮像された画像に対して、画素信号を増幅するような処理を行なう場合、画素信号に含まれるノイズ成分をも増幅してしまうという問題がある。そこで、画素信号の振幅成分を帯域ごとに分離して、分離した振幅成分ごとに増幅制御可能にすることで、ノイズを多く含む周波数帯域の振幅成分の増幅処理を抑制し、その他のノイズを含まない周波数帯域の振幅成分を強調して増幅する方法がある（例えば、特許文献１参照）。

また、別の方法として、複数枚の撮像された画像を用いて、輝度に応じて合成する画像の合計枚数と合成比率とを制御する方法がある（例えば、特許文献２参照）。このように複数枚の撮像された画像を合成することにより、画像間で相関性のないノイズ成分を抑えられるため信号対雑音比（Ｓ／Ｎ比：ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏともいう）を向上することができる。

特開２００５−３３３１７６号公報（第３−１７頁、第７図） 特開２０１１−１９９７８７号公報（第７−１４頁）

特許文献１のように単数枚の画像からノイズ成分を抑える方法では、暗部の視認性を改善することは困難であり、特許文献２のように複数枚の撮像された画像を合成する方法であれば画像間に相関がある部分については暗部の視認性を向上させることができる。しかしながら、撮像素子が移動しながら同じ被写体付近を撮像する場合は、撮像素子から被写体に向かう撮像視点が異なるため、前の撮像結果では撮像されていたものが後の撮像結果では撮像されていない場合がある。例えば、ビルを上空から移動しながらビル付近を撮像したときに、前の撮像結果で撮像されていたビル壁が後の撮像結果では撮像されていない、又は前の撮像結果とは異なるビル壁が撮像されている状況になる。このような状況では視認性が必要な箇所であっても画像間で相関のない箇所があるため、暗部で視認性を改善することは困難になるという問題があった。

この発明は、上述のような課題を解決するためになされたもので、撮像視点が異なる複数枚の撮像された画像であってもノイズ成分を抑え暗部で視認性を改善する画像処理装置及び画像処理方法を提供することを目的とする。

この発明に係る画像処理装置においては、撮像視点が異なる複数枚の撮像画像を入力し、設定した基準画像とそれぞれの撮像画像との画素位置ずれを合わせた位置合わせ画像を所定の時間間隔ごとに生成し、前記基準画像との時間間隔が大きくなるにつれて前記位置合わせ画像の重み付けを小さくし、前記基準画像と前記位置合わせ画像とに基づいて合成画像を生成するとともに、合成した前記合成画像の画素ごとに前記複数枚の撮像画像のうち合成に用いた撮像画像の時間方向に加算される画素数を評価する画素密度情報を生成する複数枚画像合成部と、前記合成画像から、エッジ部分を含むベース成分とディテール成分とに分離する成分分離部と、前記ベース成分の各画素について前記ベース成分の画素値に応じてベース成分ゲイン値を決定するベース成分ゲイン決定部と、前記ディテール成分の各画素について前記画素密度情報に基づいてディテール成分ゲイン値を決定するディテール成分ゲイン決定部と、前記ベース成分に前記ベース成分ゲイン値を乗算したものと前記ディテール成分に前記ディテール成分ゲイン値を乗算したものとを合成して出力画像を生成する成分合成部とを備えることを特徴とするものである。

この発明は、撮像視点が異なる複数枚の撮像画像から基準画像に位置ずれを合わせて合成画像を生成し、合成画像の周波数成分が高い周波数成分については、画素密度の高さに応じてゲイン値を調整して成分合成を行なうことにより、画素密度が高い部分は画素密度が低い部分よりも合成画像の時点でノイズ成分を抑えて視認性を向上させていることから画素密度が高い部分で前記ディテール成分が大きくなるように成分合成を行うことができるため、撮像視点が異なる複数枚の撮像された画像であってもノイズ成分を抑え暗部で視認性を改善した出力画像を得ることが可能になる。

実施の形態１にかかる画像処理装置の構成ブロック図である。 実施の形態１にかかる複数枚画像合成部１０の構成ブロック図である。 位置ずれ量と位置あわせ画像の関係を示す図である。 成分分離部に入力する画像信号の例を示す図である。 画素値の輝度分布とゲイン値の関係の例を示す図である。 画素値の輝度分布とゲイン値の関係の別の例を示す図である。 画像処理装置の別の構成ブロック図である。 実施の形態２にかかる画像処理装置の構成ブロック図である。

実施の形態１．
図１は、実施の形態１にかかる画像処理装置１の構成を概略的に示すブロック図である。画像処理装置１は、撮像部２と接続され、撮像部２から画像処理装置１へ撮像画像が入力される。

撮像部２は、入射した光をスキャンして画素値に変換することにより撮像画像を生成し、画像処理装置１へ複数の撮像画像を出力する。本発明での複数の撮像画像は、撮像部２自体もしくは撮像部２を搭載した撮像機器が撮像間隔の間に撮像する位置が異なった状態で同じ被写体を撮像して得られた撮像画像であるものとして説明する。例えば被写体であるビルを上空から移動しながら撮像間隔をあけてビル付近を撮像して得られた複数の撮像画像である。

次に、画像処理装置１の構成について説明する。画像処理装置１は、撮像部２からの撮像画像を入力して合成画像を生成する複数枚画像合成部１０を備え、複数枚画像合成部１０が生成した合成画像から求めた周波数成分を用いて、低い周波数成分を含むベース成分と高い周波数成分を含むディテール成分とに分離する成分分離部２０を備える。

さらに、成分分離部２０から出力されたベース成分について、ベース成分に乗算するベース成分ゲイン値を決定するベース成分ゲイン決定部３０とベース成分にベース成分ゲイン決定部３０が決定したベース成分ゲイン値を乗算するベース成分階調変換部３１とを備える。

一方、成分分離部２０から出力されたディテール成分について、ディテール成分に乗算するディテール成分ゲイン値を決定するディテール成分ゲイン決定部４０とディテール成分にディテール成分ゲイン決定部４０が決定したディテール成分ゲイン値を乗算するディテール成分階調変換部４１とを備える。

そして、ベース成分階調変換部３１の乗算結果とディテール成分階調変換部４１の乗算結果を加算して出力画像を生成する成分合成部５０を備える。

次に、各構成要素について詳細に説明する。

複数枚画像合成部１０は、撮像部２から入力された複数の撮像画像から基準画像を設定する。例えば、複数の撮像画像がＮ（Ｎは２以上の自然数）枚の撮像画像であれば、Ｎ枚のうちの１枚を基準画像と設定する。この場合、Ｎ枚の撮像画像のうち基準画像と設定しなかった撮像画像を参照画像とよぶこととする。基準画像の設定は、ユーザーが複数の撮像画像を見て設定してもよいし、自動的に設定されるものとしても構わない。例えば視認性を確保したいターゲットとなる被写体がある場合は、複数の撮像画像のうちその被写体とその周辺に関する視認性が高いものを設定することでその被写体とその周辺に関する情報量の多い合成画像を得ることができる。

図２は、複数枚画像合成部１０の構成を示すブロック図である。Ｎ枚の撮像画像のうち基準画像と設定した撮像画像をＦＲ_Ｂとし、残りの撮像画像をそれぞれＦＲ_１、ＦＲ_２、ＦＲ_３、・・・、ＦＲ_Ｎ−１とする。

位置ずれ量検出部１０１ａ、１０１ｂ、１０１ｃ、・・・、１０１ｘは、基準画像とそれぞれの撮像画像とを入力して参照画像の各画素について基準画像からの位置ずれ量を検出する。位置ずれ量の検出は、例えば、参照画像にマッチング領域を設定し、基準画像上に複数の位置ずれをもつ被マッチング領域を設定して、マッチング領域との相関（類似度）を算出し、相関（類似度）が最も高くなる被マッチング領域の位置ずれを探索することによって行うことができる。

位置合わせ画像生成部１０２ａ、１０２ｂ、１０２ｃ、・・・、１０２ｘを備え、各画素とその位置ずれ量に基づいて基準画像の対応する画素位置に割り当てた位置合わせ画像を生成する。

未定義画素マスク部１０３ａ、１０３ｂ、１０３ｃ、・・・、１０３ｘは、それぞれの参照画像における位置合わせ画像について、未定義画素をマスクする。ここで、未定義画素をマスクするとは、後段の時間方向加重加算部１０５が未定義画素を加算の対象としないように、未定義画素である位置あわせ画像の画素値を出力しないことである。あるいは、各位置あわせ画像の注目画素が未定義画素かどうかを識別できる情報（未定義画素マスク情報）を付加して出力する。

図３は、位置ずれ量と位置あわせ画像との関係を示す図である。図３（ａ）は参照画像、図３（ｂ）は参照画像と基準画像との位置ずれ量を示し、図３（ｃ）は位置あわせ画像を表している。

図３（ａ）における白丸は参照画像の各画素を示す。つまり図３（ａ）は参照画像が９行９列の画素領域であるとして示している。ここでは、撮像画像が、各画素の領域のうち中心の白丸の位置でスキャンして画素値に変換したものであることを意味する。

図３（ｂ）は、図３（ａ）における参照画像の各画素の中心点（黒点）が、基準画像上に投射されたときの位置を白丸で示し、図３（ａ）における参照画像の各画素の中心点（黒点）から基準画像上における位置（白丸）までの位置ずれ量を矢印で示している。このように、位置ずれ量は黒点から白丸までの距離と方向を含むベクトルとして表される。一方、基準画像が撮像されたときの各画素領域でスキャンされる位置は図３（ｂ）においては黒点となる。

図３（ｃ）は、図３（ａ）における参照画像と図３（ｂ）における位置ずれ量とに基づいて位置合わせ画像生成部によって生成された位置合わせ画像を示す。これは基準画像上における画素領域の位置に対して、それぞれの画素領域に参照画像における画素値が、参照画像におけるいずれかの画素位置に存在する場合は、その存在する画素の画素値を基準画像上における画素領域の画素値として用いる。なお、図３（ｃ）の位置合わせ画像において、位置合わせ画像の画素領域のうちハッチングされた画素領域は未定義画素であることを示す。

例えば、図３（ｃ）において１行目で１列目の画素領域位置をＩ（１，１）とした場合、図３（ａ）における参照画像の画素領域位置（１，１）でスキャンされた点が、図３（ｂ）における基準画像での画素領域位置（１，１）にそのまま残っているため、図３（ｃ）における位置合わせ画像の画素領域位置（１，１）の画素値は、図３（ａ）における参照画像の画素領域位置（１，１）の画素値を割り当てる。

同じように、図３（ａ）における参照画像の２行目で７列目の画素領域位置（２，７）でスキャンされた点が、図３（ｂ）における基準画像での１行目で９列目の画素領域位置（１，９）にそのまま残っているため、図３（ｃ）における位置合わせ画像の画素領域位置（１，９）の画素値は、図３（ａ）における参照画像の画素領域位置（２，７）の画素値を割り当てる。

また、画素値は、例えば当該画素の輝度を表す値（輝度値）である。代わりに、各画素の階調値は、当該画素の赤、緑、青等の色成分の強度を表す値（色成分値）であっても良い。

このように位置合わせを行なう場合、図３（ｂ）における基準画像での画素領域で図３（ａ）における参照画像が割り当てることができない領域が存在する。例えば、図３（ｂ）における基準画像での５行目で１列目の画素領域（５，１）は図３（ａ）における参照画像のいずれの画素位置もその領域に存在しないため、割り当てができない領域となる。この場合、割り当てができない領域については、未定義画素としてその情報を位置合わせ画像と共に時間方向加重加算部１０５及び加算画素数評価値算出部１０６へ出力する。

例えば、参照画像を撮像したときはビルの上空真上から撮像し、基準画像を撮像したときは先の参照画像を撮像したときよりも同じビルを上空真上から離れて撮像していた場合、参照画像を撮像したときの撮像視点と基準画像を撮像したときの撮像視点とで角度が異なる状況となる。このような状況では、ビルの天井部分は参照画像にも基準画像にも存在し、基準画像を撮像したときに撮像されたビル壁の部分は、ビルの上空真上から撮像した参照画像では撮像画像上に存在しない場合がある。このような場合は、基準画像におけるビル壁の部分の撮像領域位置はビルの上空真上から撮像した参照画像からの位置合わせ画像では未定義画素として処理する。また、被写体と撮像位置との距離に差がある場合は、基準画像での画素領域で割り当てられる参照画像の画素位置が複数含まれる場合がある。この場合は、割り当てられる参照画像の複数の画素値で平均を取るなどすることで対応する。参照画像と基準画像とで画像の縮小を伴うことにより基準画像での画素領域で割り当てられる参照画像の画素位置が複数含まれる場合があるがそれについても同様に割り当てられる参照画像の複数の画素値で平均を取るなどすることで対応する。ここで各画素の画素値は階調値とも呼び、例えば当該画素の輝度を表す輝度値である。あるいは、当該画素の赤、緑、青等の色成分の強度を表す色成分値であっても良い。

また、撮像視点が異なる複数の画像を合成する際、アフィン変換や射影変換などの幾何学的な変形を行うことが望ましい場合がある。図３の例に示すように、幾何学的な変形を伴う場合、画素サンプリング密度の不均一性によって変形後の画像に未定義画素が生じる。

また、奥行きのある被写体を異なる視点から撮影した場合、基準画像の視点からは見えるが参照画像の視点からは隠れる部分（以下、隠蔽領域という）ができる。隠蔽領域では、位置ずれ量検出の際に対応がとれず、未定義画素となる。

このようにして、それぞれの参照画像と基準画像とから、位置ずれ量検出部１０１によって参照画像の各画素について基準画像からの位置ずれ量を検出する。そして、位置合わせ画像生成部１０２によって、各画素とその位置ずれ量とに基づいて基準画像の対応する画素位置に割り当てた位置合わせ画像を生成し、未定義画素マスク部１０３は、未定義画素をマスクする。

空間方向加重加算部１０４は、基準画像について、順次設定した注目画素の周辺の画素値を加重加算する。加重加算は、注目画素と注目画素の周辺の画素とについて等しい重み付けを用いても良いし、注目画素が最も大きく、注目画素との距離が離れるにつれて小さくなるような重み付けを用いても良い。また、バイラテラルフィルタのように注目画素と周辺の画素との輝度値の差分や類似度に応じて重み付けを画素ごとに変更することとしても良い。

時間方向加重加算部１０５は、基準画像とそれぞれの参照画像から生成した位置あわせ画像とから、同一画素領域位置の画素値を加重加算する。このとき、未定義画素マスク部（１０３ａ、１０３ｂ、１０３ｃ、・・・、１０３ｘ）の作用により、未定義画素は加算の対象としない。あるいは、未定義画素マスク情報により未定義画素を判別し、未定義画素を重みゼロで加算するとしても等価である。このようにして基準画像の画素領域位置において割り当てのある参照画像画素値と基準画像の画素値とから加重加算を行なうことによって、それぞれの撮像画像で相関のある画素と相関のないノイズ成分との比率を大きくすることができるため、相関のないノイズ成分を抑えた合成画像を得ることができる。

加算画素数評価値算出部１０６は、未定義画素を考慮して時間方向の加算画素数評価値（画素密度情報）を算出する。加算画素数評価値は、時間方向加重加算部１０５において時間方向に加算される画素数を評価するものであり、例えば、定義画素の数をカウントした結果を用いることができる。また、時間方向加重加算部１０５において基準画像及び各位置あわせ画像に対して重み付けを行う場合には、その重み付けの積算値を評価値として用いてもよい。ここで、各位置あわせ画像に対する重み付けとは、例えば基準画像の重み付けを最も大きく、基準画像との時間間隔、つまりフレーム番号が離れるにつれて重み付けを小さくするような重み付けを用いたものである。

時空間統合部１０７は、加算画素数評価値に応じて時間方向加重加算部１０５の出力と空間方向加重加算部１０４の出力とを重み付け加算して合成画像を出力する。加算画素数評価値により、時間方向に加算された画素数が多いと判断される場合に時間方向の加重加算結果の重み付けを大きくし、時間方向に加算された画素数が少ないと判断される場合に空間方向の加重加算結果の重み付けを大きくする。

ここで、時間方向加重加算部１０５において、基準画像とそれぞれの参照画像とから生成した位置あわせ画像の輝度値の差分や類似度に応じて重み付けを画素ごとに変更する構成とした場合、加算画素数評価値算出部１０６は、その重み付けの積算値を評価値として用いるようにする。これにより、未定義画素が存在しなくても、位置ずれ量が正確でない場合や動体領域、隠蔽領域などが存在する場合に時間方向に十分に加算ができないことを重み付けの積算値が低下として検出することができる。このような場合も空間方向に加算した結果を反映することによって、加算される画素数を画素間で一定にし、Ｓ／Ｎの向上効果を均一にすることができる。

次に成分分離部２０以降の構成要素について説明する。

成分分離部２０は、複数枚画像合成部１０から出力される合成画像をベース成分とディテール成分とに分離する。

図４（ａ）は、成分分離部２０に入力する画像信号の例を示す。図４（a）は、急峻なエッジを挟んで僅かに変動する画像信号である。図４（ｂ）は図４（ａ）から分離されたベース成分を示し、図４（ｃ）は図４（ａ）から分離されたディテール成分を示す。図４の横軸は空間座標を表し、縦軸は輝度を表している。

ベース成分とディテール成分との分離については、例えばデジタルフィルタを構成してベース成分またはディテール成分のいずれか一方を抽出するフィルタを用いて抽出し、元の入力と抽出結果との差分を用いて他方を求めるなどを行なう。例えば、合成画像からエッジ保存平滑化フィルタをかけた結果、画像（ベース成分）を生成し、合成画像からフィルタ後の画像を差し引くことでディテール成分を取り出すことができる。

このとき、ベース成分にはエッジ部分が抽出され、ディテール成分にはエッジ部分による値の変化を排除した部分を抽出するようにデジタルフィルタを設計することが望ましい。例えば、Ｓｏｂｅｌ（ゾーベル）フィルタやＰｒｅｗｉｔｔ（プレヴィット）フィルタ、Ｂｉｌａｔｅｒａｌ（バイラテラル）フィルタなどを用いることでエッジを抽出することができる。これらデジタルフィルタの設計によってベース成分にどれぐらいエッジ部分が残るかが決定する。つまりは、どれぐらいの細かいエッジをディテール成分に残すかを決めることになる。このフィルタが小さいほど細かいエッジを抽出できる。フィルタの大きさとしては、例えば１１×１１を用いる。フィルタの値として、注目画素を中心として、中心からの距離が近いほど値を大きく、中心からの距離が遠いほど値を小さくするなどが考えられる。しかし、入力画像によっては、見たい被写体の周波数領域によってファイルの大きさを変更する必要がある。これは、フィルタをかけた画像を目視で確認し、抽出したい被写体が抽出出来ているかを確認し、出来ていなければフィルタサイズを変更するなどの処理が考えられる。

ベース成分ゲイン決定部３０は、成分分離部２０で分離したベース成分に応じて画素ごとのベース成分ゲイン値を決定する。

図５は、画素値の輝度分布とゲイン値との関係を示す図の例である。図５（ａ）は横軸が画像の画素値である輝度値を示し、縦軸は同じ輝度値を持つ画素の数（出現頻度）を累積したものである。なお、横軸の輝度値は右に行くほど輝度値が高いものとする。

図５（ａ）の例では、輝度値の低い側で出現頻度の高い部分（Ｐａ）と、輝度値の高い側で出現頻度の高い部分（Ｐｂ）とがあり比較的輝度分布が全域にわたっている状況を示している。例えば、ダイナミックレンジが広いシーンで、明るい被写体部分において輝度値が飽和しないように露光時間を短くして撮影した場合、入力画像の階調値分布（輝度分布）は図５（ａ）に示すような、輝度値の低い側にピークＰａを持ち、輝度値の高い側にピークＰｂを持つものとなる。

画像が図５（ａ）に示すように比較的輝度分布が全域にわたってある場合、総合的な階調変換特性として、図５（ｂ）に示すようなものとなるようにゲイン値Ｇｊを設定する。図５（ｂ）は、図５（ａ）の輝度分布に対するゲイン特性（階調変換特性）を示す図である。横軸が輝度値を示し、縦軸は入力した輝度値に対してゲイン値を掛けた結果を示したものである。なお、横軸の輝度値は右に行くほど輝度値が高いものとし、点線はゲイン値が１倍であるときのゲイン値を掛けた結果を示す。

図５（ｂ）のゲイン特性においては、輝度値が最も低い値と最も高い値とでゲイン値Ｇｊが「１」とし、輝度値が中域でなだらかにゲイン値Ｇｊが高くなるようなゲイン値設定を行なう。

図６は、画素値の輝度分布とゲイン値との関係を示す図の別の例である。図６（ａ）は横軸が画像の画素値である輝度値を示し、縦軸は同じ輝度値を持つ画素の数（出現頻度）を累積したものである。なお、横軸の輝度値は右に行くほど輝度値が高いものとする。

図６（ｂ）は、図６（ａ）の輝度分布に対するゲイン特性（階調変換特性）を示す図である。横軸が輝度値を示し、縦軸は入力した輝度値に対してゲイン値を掛けた結果を示したものである。なお、横軸の輝度値は右に行くほど輝度値が高いものとし、点線はゲイン値が１倍であるときのゲイン値を掛けた結果を示す。また、ゲイン値Ｇｊが最大となる点を符号Ｐｇｍで示している。

図６（ａ）の例では、図５（ａ）よりも輝度分布が中域Ｒｍに集中している状況を示している。画像が図６（ａ）に示すような輝度分布の場合、図６（ｂ）に示すように輝度値が低い方から中域Ｒｍに差し掛かる辺りまでゲイン値Ｇｊを「１」よりも低い値に設定し、中域Ｒｍに差し掛かってから大きくゲイン値Ｇｊを上げて中域Ｒｍよりも輝度値が高くなるにつれてゲイン値Ｇｊをなだらかに「１」に戻すゲイン値を設定する。

このように、ベース成分ゲイン値をベース成分の画素値から得られる輝度分布に応じて設定する。

ディテール成分ゲイン決定部４０は、加算画素数評価値算出部１０６から出力されるそれぞれの画素の加算画素数を基にディテール成分ゲイン値を決定する。加算画素数が少ない画素はディテール成分ゲイン値を低く抑え、加算画素数が一定以上の場合はディテール成分ゲイン値を高くする。

このようにすることで、加算画素数が少ない画素、つまり画素密度が低く複数枚合成のところでノイズ成分を十分に抑制しきれていない画素においてはディテール成分の伸長率を抑えてノイズ成分の増幅を抑え、加算画素数が一定以上の画素、つまり画素密度が高く複数枚合成のところでノイズ成分の抑制効果の高い画素においてはディテール成分の伸長率を増やしてダイナミックレンジ拡大をはかることができる。

ベース成分階調変換部３１は、ベース成分ゲイン決定部３０が設定するベース成分ゲイン値に応じてベース成分画像の階調を変換することにより出力画像を生成する。

ディテール成分階調変換部４１は、ディテール成分ゲイン決定部４０が設定するディテール成分ゲイン値に応じてディテール成分画像の階調を変換することにより出力画像を生成する。ディテール成分ゲイン決定部４０では、画素ごとにゲインを決定しているため、画像全体として明るさのムラが発生する場合も考えられる。そのような場合は、階調変換後の画像を目視で確認し、明るさのムラを確認し、気になるようであれば画素間の階調値を変更するなどの処理が考えられる。

成分合成部５０では、階調変換を行ったベース成分とディテール成分とを合成することにより出力画像を生成する。

以上のように、本発明は、撮像視点が異なる複数枚の撮像画像から基準画像に位置ずれを合わせて合成画像を生成し、合成画像の周波数成分が高い周波数成分については、画素密度の高さに応じてゲイン値を調整して成分合成を行なうものである。上記の動作により、画素密度が高い部分は画素密度が低い部分よりも合成画像の時点でノイズ成分を抑えて視認性を向上させていることから画素密度が高い部分で前記ディテール成分が大きくなるように成分合成を行うことができる。このため、撮像視点が異なる複数枚の撮像された画像であってもノイズ成分を抑え暗部で視認性を改善した出力画像を得ることが可能になる。

この動作は画素密度の高い部分においては、複数枚合成のところでノイズ成分を抑えた合成画像を得ていることを利用するものである。つまり、画素密度の高い部分においては合成画像のディテール成分を強く伸長させ、画素密度の高い部分においては合成画像のディテール成分を強く伸長させないようにする。このことで、複数枚合成で抑制しきれていないノイズ成分を強調することなく、ノイズ成分の抑制効果の高い箇所のディテール成分を強調することができる。

複数枚合成の方法として、図２の複数枚画像合成部１０では、それぞれの参照画像から生成した位置あわせ画像において同一画素領域位置の画素値を加重加算する際に未定義画素は加算の対象としない方法を説明した。別の方法として、位置あわせ画像を生成するときに、未定義画素については未定義画素となった画素位置の周辺の画素値から補間して位置あわせ画像を生成し、同一画素領域位置の画素値を加重加算する際に補間して得られた未定義画素の重み付けを低くして加重加算することで複数枚合成を行なうとしても構わない。これにより、撮像部が高速に移動している場合など、撮影上の制約から同一視点の画像を何枚も得ることが難しい場合であっても、異なる複数の画像間で位置あわせがなされた複数の画素を加算することにより、複数の撮像画像間で相関のないノイズ成分を平均化し、Ｓ／Ｎ比を向上することができる。

さらに別の方法として、位置あわせ画像の未定義画素の補間に同一画像内の周辺の画素からの補間（空間方向）を行わず、基準画像及び他の参照画像から生成した位置あわせ画像の同じ画素位置の画素からの補間（時間方向）を用いるようにしても構わない。この場合、時間方向の補間に用いた定義画素の数をカウントし、時間方向に加算される画素数が多い場合に時間方向の加重加算結果の重み付けを大きくし、時間方向に加算される画素数が少ない場合に空間方向の加重加算結果の重み付けを小さくするようにする。これにより、未定義画素が存在して時間方向に十分な加算ができない場合に、空間方向に加算した結果を反映することによって、加算される画素数を画素間で一定にし、Ｓ／Ｎの向上効果を均一にすることができる。

なお、さらに本発明にかかる画像処理は、システムＬＳＩやプロセッサなどを用いて処理を行なうことも可能である。図７は、画像処理装置１１の構成を示す図である。画像処理装置１１は、図１に示した画像処理装置１での処理を実行するプロセッサ６１と、プロセッサ６１に接続されデータの記憶を行なうメモリ６２とを備える。

図７では、プロセッサ６１は接続されたバスラインを介して第２のメモリ６３とも接続するように構成してもよい。例えばメモリ６２はキャッシュメモリとして扱い、第２のメモリ６３は他のデータを記憶するメモリとして扱う。

プロセッサ６１は、撮像部２からの撮像画像を入力する。撮像部２からの撮像画像はバスライン３を介して入力しても、プロセッサ６１と撮像部２とを直接接続して入力しても構わない。

プロセッサ６１は、入力された撮像画像から複数枚合成処理を行なうことで合成画像を生成するとともに参照画像における画素密度情報を生成する。複数枚合成処理および画素密度情報を生成する処理については複数枚画像合成部１０で行う処理と同様である。

次に、プロセッサ６１は、合成画像から成分分離処理を行なうことでベース成分及びディテール成分に分離する。成分分離処理の方法については成分分離部２０で行う処理と同様である。

次に、プロセッサ６１は、ベース成分からベース成分ゲイン値を決定し、ベース成分とベース成分ゲイン値とから諧調変換を行なう。ベース成分ゲイン値の決定及び諧調変換の方法については、ベース成分ゲイン決定部３０及びベース成分階調変換部３１で行う処理と同様である。

次に、プロセッサ６１は、画素密度情報からディテール成分ゲイン値を決定し、ディテール成分とディテール成分ゲイン値とから諧調変換を行なう。ディテール成分ゲイン値の決定及び諧調変換の方法については、ディテール成分ゲイン決定部４０及びディテール成分階調変換部４１で行う処理と同様である。ベース成分ゲイン値の決定及び諧調変換の処理とディテール成分ゲイン値の決定及び諧調変換の処理とは処理順番はどちらが先でも構わないし並行処理であっても構わない。

次に、プロセッサ６１は、ベース成分階調変換処理の結果とディテール成分階調変換処理の結果とを加算して出力画像を生成する。

このように、本発明はプロセッサ及びメモリを用いて、撮像視点が異なる複数枚の撮像画像を入力し、設定した基準画像とそれぞれの撮像画像との画素位置ずれを合わせて合成画像を生成するステップと、合成した合成画像の画素ごとに複数枚の撮像画像のうち合成に用いた撮像画像の枚数に基づいて画素密度情報を生成するステップと、前記合成画像から求めた周波数成分を用いて、低い周波数成分を含むベース成分と高い周波数成分を含むディテール成分とに分離するステップと、ベース成分の各画素についてベース成分の画素値に応じてベース成分ゲイン値を決定するステップと、ディテール成分の各画素について画素密度情報に基づいてディテール成分ゲイン値を決定するステップと、ベース成分にベース成分ゲイン値を乗算したものとディテール成分にディテール成分ゲイン値を乗算したものとを合成して出力画像を生成するステップとを備えるプログラムを実行することで所期の目的を達成させることができることはいうまでもない。

実施の形態２．
実施の形態１では、ディテール成分ゲイン値の決定は、加算画素数評価値算出部１０６から出力されるそれぞれの画素の加算画素数を基にディテール成分ゲインを決定していたが、本実施の形態では、さらにディテール成分も入力してディテール成分ゲイン値を決定する。

図８は、本実施の形態にかかる画像処理装置の構成ブロック図であって、図１の実施の形態１にかかる画像処理装置の構成ブロック図と比べてディテール成分ゲイン決定部４２が成分分離部２０からのディテール成分も入力されているところが異なる。

画像処理装置１は、撮像部２からの撮像画像を入力して合成画像を生成する複数枚画像合成部１０を備える。さらに画像処理装置１は、複数枚画像合成部１０が生成した合成画像から求めた周波数成分を用いて、低い周波数成分を含むベース成分と高い周波数成分を含むディテール成分とに分離する成分分離部２０を備える。

さらに画像処理装置１は、成分分離部２０から出力されたベース成分について、ベース成分に乗算するベース成分ゲイン値を決定するベース成分ゲイン決定部３０とベース成分にベース成分ゲイン決定部３０が決定したベース成分ゲイン値を乗算するベース成分階調変換部３１とを備える。

また画像処理装置１は、成分分離部２０から出力されたディテール成分について、ディテール成分に乗算するディテール成分ゲイン値を決定するディテール成分ゲイン決定部４２とディテール成分にディテール成分ゲイン決定部４２が決定したディテール成分ゲイン値を乗算するディテール成分階調変換部４１とを備える。

そして画像処理装置１は、ベース成分階調変換部３１の乗算結果とディテール成分階調変換部４２の乗算結果とを加算して出力画像を生成する成分合成部５０を備える。

ここで、実施の形態１及び図８における符号が同じ構成要素については実施の形態１と同じ作用であるため、詳細は省略する。

ディテール成分ゲイン決定部４２は、成分分離部２０で分離したディテール成分と複数枚画像合成部１０が有する加算画素数評価値算出部１０６から出力されるそれぞれの画素の加算画素数とを用いて画素ごとのディテール成分ゲイン値を決定する。このとき、ディテール成分によるゲイン値の設定方法は実施の形態１で示したベース成分ゲイン値の設定方法と同様であり、ディテール成分によって設定したゲイン値に、さらに加算画素数評価値算出部１０６から出力されるそれぞれの画素の加算画素数に基づいて設定した重み付けを行なったゲイン値をディテール成分ゲイン値として決定する。

このようにディテール成分ゲイン決定部４２は、ディテール成分ゲイン値を決定するにあたって、さらにディテール成分を用いたゲイン値設定を反映させることにより、ディテール成分における輝度分布に応じたディテール成分ゲイン値とすることができる。

なお、本実施の形態においても、図７のようにプロセッサ６１及びメモリ６２を用いて処理を行なう構成であっても所期の目的を達成し得ることはいうまでもない。

１ 画像処理装置
２ 撮像部
１０ 複数枚画像合成部
２０ 成分分離部
３０ ベース成分ゲイン決定部
３１ ベース成分階調変換部
４０ ディテール成分ゲイン決定部
４１ ディテール成分階調変換部
５０ 成分合成部

Claims (7)

1. 撮像視点が異なる複数枚の撮像画像を入力し、設定した基準画像とそれぞれの撮像画像との画素位置ずれを合わせた位置合わせ画像を所定の時間間隔ごとに生成し、前記基準画像との時間間隔が大きくなるにつれて前記位置合わせ画像の重み付けを小さくし、前記基準画像と前記位置合わせ画像とに基づいて合成画像を生成するとともに、合成した前記合成画像の画素ごとに前記複数枚の撮像画像の時間方向に加算される画素数を評価する画素密度情報を生成する複数枚画像合成部と、
   前記合成画像から、エッジ部分を含むベース成分とディテール成分とに分離する成分分離部と、
   前記ベース成分の各画素について前記ベース成分の画素値に応じてベース成分ゲイン値を決定するベース成分ゲイン決定部と、
   前記ディテール成分の各画素について前記画素密度情報に基づいてディテール成分ゲイン値を決定するディテール成分ゲイン決定部と、
   前記ベース成分に前記ベース成分ゲイン値を乗算したものと前記ディテール成分に前記ディテール成分ゲイン値を乗算したものとを合成して出力画像を生成する成分合成部と
   を備える画像処理装置。
2. 前記成分分離部は、
   前記合成画像の画素間の画素値を入力として、前記ベース成分及び前記ディテール成分のうち一方を抽出するデジタルフィルタを有し、前記合成画像の画素間の画素値と前記デジタルフィルタの抽出結果との差分を用いて他方の成分を生成する
   請求項１に記載の画像処理装置。
3. 前記複数枚画像合成部は、
   入力された前記複数枚の撮像画像のうち前記基準画像を除く撮像画像を参照画像として設定し、
   それぞれの前記参照画像において順次設定した注目画素の画素位置から基準画像の画素のうち前記注目画素と相関が高い画素の画素位置までの位置ずれ量を検出し、
   それぞれの前記参照画像における前記位置ずれ量に基づいて、前記基準画像の各画素位置に対して前記参照画像で割り当てのない画素位置を未定義画素として判定し、
   前記基準画像の各画素位置における前記参照画像の未定義画素の数から前記画素密度情報を生成する
   請求項１または２に記載の画像処理装置。
4. 前記複数枚画像合成部は、
   前記位置ずれ量を検出する位置ずれ量検出部と、
   それぞれの前記参照画像における前記位置ずれ量に基づいて、前記基準画像の各画素位置に対して前記参照画像の画素を割り当てて前記位置合わせ画像を生成する位置合わせ画像生成部と、
   前記基準画像について、順次設定した注目画素の周辺の画素値を加重加算する空間方向加重加算部と、
   それぞれの前記参照画像から生成した前記位置あわせ画像において前記未定義画素であるか否かの情報に基づいて重み付けを行なった上で、前記基準画像と同一画素領域位置の画素値を加重加算する時間方向加重加算部とを有する
   請求項３に記載の画像処理装置。
5. 前記位置合わせ画像生成部は、前記未定義画素となる画素位置についてその画素位置の周辺画素の画素値を用いて補間して画素値を生成した前記位置合わせ画像を生成する
   請求項４に記載の画像処理装置。
6. 前記ディテール成分ゲイン決定部は、前記ディテール成分の各画素について前記画素密度情報に加えて前記ディテール成分の画素値を用いて前記ディテール成分ゲイン値を決定する
   請求項１から５のいずれか１項に記載の画像処理装置。
7. 撮像視点が異なる複数枚の撮像画像を入力し、設定した基準画像とそれぞれの撮像画像との画素位置ずれを合わせた位置合わせ画像を所定の時間間隔ごとに生成し、前記基準画像との時間間隔が大きくなるにつれて前記位置合わせ画像の重み付けを小さくし、前記基準画像と前記位置合わせ画像とに基づいて合成画像を生成するステップと、
   合成した前記合成画像の画素ごとに前記複数枚の撮像画像の時間方向に加算される画素数を評価する画素密度情報を生成するステップと、
   前記合成画像から、エッジ部分を含むベース成分とディテール成分とに分離するステップと、
   前記ベース成分の各画素について前記ベース成分の画素値に応じてベース成分ゲイン値を決定するステップと、
   前記ディテール成分の各画素について前記画素密度情報に基づいてディテール成分ゲイン値を決定するステップと、
   前記ベース成分に前記ベース成分ゲイン値を乗算したものと前記ディテール成分に前記ディテール成分ゲイン値を乗算したものとを合成して出力画像を生成するステップと
   を備える画像処理方法。

Images