JP5076002B1

JP5076002B1 - 画像処理装置及び画像処理方法

Info

Publication number: JP5076002B1
Application number: JP2011099750A
Authority: JP
Inventors: 薫松岡
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-04-27
Filing date: 2011-04-27
Publication date: 2012-11-21
Anticipated expiration: 2031-04-27
Also published as: JP2012231406A; US20120274818A1

Abstract

【課題】ステレオ画像やマルチ画像について、画像信号が含む撮像装置に起因するノイズを効率よく除去する画像処理装置及び画像処理方法を提供する。
【解決手段】実施形態において、画像処理装置は、計算部と、判定部と、ノイズ除去部とを具備する。計算部は、第１の画像信号として入力される第１の画像の任意の画素と、第１の画像信号と同一対象物について同時に取得される第２の画像信号として入力される第２の画像の任意の画素との対応を求める。判定部は、計算部の計算結果に基づき、第１の画像の任意の画素と第２の画像の任意の画素とを比較し、それぞれの画素がノイズ画素であるか、ノイズ画素とは異なる非ノイズ画素であるか、を判定する。ノイズ除去部は、判定部の判定結果に従い、ノイズ画素を補正する。
【選択図】図１

Description

本発明の実施の形態は、ステレオ画像やマルチ画像に対する画像処理装置及び画像処理方法に関する。

ステレオ画像やマルチ画像について、画素同士の対応点を求め、求めようとする画像のためのさまざまな画像処理が提案されている。

特開２００４−１２０６００号公報

ステレオ画像やマルチ画像について、画像信号が含む撮像装置に起因したノイズを除去する方法は、十分に確立されたとはいえない。特に、ノイズを効率よく除去する方法や、画質への影響についても十分に確立されたというには不十分である。

本発明は、ステレオ画像やマルチ画像について、画像信号が含む撮像装置に起因するノイズを効率よく除去する画像処理装置及び画像処理方法を提供するものである。

実施形態において、画像処理装置は、計算部と、判定部と、ノイズ除去部とを具備する。計算部は、第１の画像信号として入力される第１の画像の任意の画素と、第１の画像信号と同一対象物について同時に取得され第２の画像信号として入力される第２の画像の任意の画素との対応を求める。判定部は、前記計算部が求めた対応情報を参照し、第１の画像の前記任意の画素及び前記第１の画素の前記任意の画素に対応する前記第２の画像の前記任意の画素のそれぞれの画素についてノイズ値を求め、前記それぞれの画素の前記ノイズ値が第一の値よりも大きい場合、前記それぞれの画素の両方をノイズ画素と判定し、前記それぞれの画素の前記ノイズ値が前記第一の値と等しいか小さい場合であって、前記それぞれの画素の前記ノイズ値が第二の値と等しいかいずれか一方が大きい場合、ノイズ￥値が大きい画素をノイズ画素と判断し、前記それぞれの画素の前記ノイズ値が何れも前記第二の値小さい場合、前記それぞれの画素を、非ノイズ画素と判定する。ノイズ除去部は、判定部の判定結果に従い、ノイズ画素を補正する。

実施形態を適用する画像処理装置の一例を示す概略図。実施形態を適用する画像処理方法の一例を示す概略図。実施形態を適用する画像処理方法の一例を示す概略図。実施形態を適用する画像処理方法の一例を示す概略図。実施形態を適用する画像処理方法の一例を示す概略図。

以下、実施の形態について図面を参照して説明する。

図１は、実施形態を適用する画像処理装置（例えばステレオカメラに組み込まれる画像信号処理装置）の一例を示す。なお、以下に説明する要素や構成あるいは機能は、ハードウェアで実現するものであってもよいし、マイクロコンピュータ（処理装置、ＣＰＵ）等を用いてソフトウェアで実現するものであってもよい。

図１に示す画像処理装置１１は、少なくとも２つの入力画像からそれぞれの画像の画素について対応画素を算出する対応画素計算部１３、対応画素計算部１３の計算結果を基に入力画像のノイズ（ノイズ成分）の有無を判定するノイズ判定部１５、及びノイズ判定部が判定したノイズを除去するノイズ除去部１７、等を含む。

なお、画像処理装置１１は、多くの場合、ノイズ除去部１７の後段（下流側）に、視差情報生成部３１及び視差画像生成部３３、等を伴い、表示装置（ディスプレイ）が表示可能な右視点出力画像信号及び左視点出力画像信号に変換され、画像信号出力端（端子）、あるいは出力インタフェースに供給される。また、表示装置が一体に用意されることで、ステレオ画像の表示を可能としてもよい（例えば、表示装置を一体に有する『携帯可能な情報端末装置』のように利用可能である）。

入力画像は、例えば左右に一定の間隔を保持して用意される少なくとも２つのカメラ、あるいは２つのレンズと１つのカメラを含むステレオカメラ２１による右眼用データ（画像出力）と左眼用データ（画像出力）を含む。

なお、入力画像は、３以上のカメラ、あるいは単一のカメラに３以上のレンズを用意して画像を取り込む（撮像する）マルチ画像であってもよい。また、入力画像は、静止画及び動画（非静止画像）のいずれであってもよい。また、入力画像が動画である場合は、動画を構成する一つひとつの静止画が、対応画素計算部１３において比較可能な同一時刻に撮像されたものであればよい。すなわち、入力画像は、同一の撮像対象から２以上の画像を同一の瞬間に捕らえたものであればよく、撮像方法による制約をうけるものではない。なお、入力画像は、同一の撮影対象から取得した２以上の画像であれば、大きさ（倍率）が異なる場合であっても適用できる。

また、入力画像は、カメラからの出力に限らず、例えばテレビ装置（テレビ受信装置／映像表示装置）やレコーダ（録画再生装置）の入力端子に入力される映像信号であってもよい。この場合、例えば圧縮等の信号処理により生じるノイズ成分が比較対象となる全ての画像に重畳されることを考慮して（以下に詳述する）ノイズを除去することで、同様の効果が期待できる。

ノイズ判定部１５は、図３及び図４を用いて詳細に説明するが、大まかには図２に示す流れに従い、対応画素計算部１３において対応する画素を算出し［１１］、対応画素計算部１３が出力する対応情報を参照し、入力画像のいずれかまたは全てがノイズを伴う（ノイズがある）か否か、すなわちいずれの画像もノイズを伴わない（全ての画像にノイズが無い）か否かを判定する［１２］。

ノイズ判定部１５はまた、いずれか（画像が２の場合には一方の画像）または全ての画像にノイズがあると判定した場合、後段のノイズ除去部１７が利用可能に、ノイズ情報を示す『ノイズマスク』を生成する。なお、本提案では、例えば「黒画像もしくは一定濃度の単色画像中の『輝点成分』」や「白画像あるいは一定濃度未満の低濃度領域中の『高濃度もしくは有彩色成分』」あるいは「周辺成分に比較して生成過程（生成条件）が異なる『散発的な成分』」のいずれか、またはその複合成分をノイズとして扱うものとする。従って、『ノイズマスク』を生成する際に、例えば髪の毛等がカメラのレンズに付着した場合においても、「非ノイズ」と判定するために参照する『（非ノイズ）辞書』を持つことが好ましい。

ノイズ除去部１７は、図３〜図５を用いて詳細に説明するが、大まかには図２に示す流れに従い、ノイズ判定部１５が出力する『ノイズマスク』または対応画素計算部１３が出力する対応情報を用い、いずれかの画像を基準として、残りの画像が含むノイズを除去する。例えば、画像が２の場合、一方の画像の任意の画素（画素値）を基準とし、他の一方の画像の対応する画素（画素値）を処理する。すなわち、ノイズ判定部１５において「ノイズが無い」と判定した画像の画素値を用い、「ノイズが有る」と判定した画像の対応する画素を周辺画素から得られる情報で補完する［１３］。

上述のように、ノイズ判定部１５における判定結果に従い、ノイズ除去部１７でノイズが除去されたそれぞれの画像（入力画像）は、入力時の位置関係が保もたれて、出力右眼画像及び出力左眼画像として出力される。すなわち、右眼カメラからの（または右眼用）入力画像は出力右眼画像として、同様に左眼カメラからの（または左眼用）入力画像は出力左眼画像として、それぞれ後段に出力される［１４］。

より詳細には、図３に一例を示すが、対応画素計算部１３は、入力画像の一方を基準画像に、もう一方を参照画像に、それぞれ、設定する［３１］。

以下、基準画像の任意の位置（ｘ，ｙ）の画素に対し、「０」を除く整数である「ｎ」を用い、（ｘ−ｎ，ｙ−ｎ），（ｘ−ｎ，ｙ＋ｎ），（ｘ＋ｎ，ｙ−ｎ）及び（ｘ＋ｎ，ｙ＋ｎ）で示される「（４値の）矩形」と、「０＜＝ｘ２＜参照画像幅」、「０＜＝ｙ２＜参照画像高さ」である「ｘ２」，「ｙ２」について、（ｘ２−ｎ，ｙ２−ｎ）、（ｘ２−ｎ，ｙ２＋ｎ），（ｘ２＋ｎ，ｙ２−ｎ）及び（ｘ２＋ｎ，ｙ２＋ｎ）から、絶対値差分和（ｓａｄ（Sum of Absolute Differences））として『ｓａｄ｜ｘ２，ｙ２』を求め、『ｓａｄ最小値』及び『ｓａｄ｜Ｘ，Ｙ』が最小になる『（Ｘ，Ｙ）』を算出する［３２］。

求めた『ｓａｄ最小値』が閾値ｔより小さい場合［３３−ＹＥＳ］、『（Ｘ，Ｙ）』を基準画像（ｘ，ｙ）に対する参照画像上の対応画素とする［３４］。なお、『ｓａｄ最小値』が閾値ｔ以上の場合［３３−ＮＯ］は、対応画素が存在しないとする［３５］。

以上の対応点計算を「０＜＝ｘ＜基準画像幅」、「０＜＝ｙ＜基準画像高さ」である参照画像上の全画素（ｘ，ｙ）について行う。

次に、図４に一例を示すが、ノイズ判定部１５による上述の対応画素計算（図３）により求めた画素（ｘ，ｙ）と対応関係にある『（Ｘ，Ｙ）』について、どちらにノイズがあるかを判定する（ノイズ判定）［１１１］〜［１２０］。なお、以下の説明では、右眼画像を基準画像、左眼画像を参照画像、と仮に規定する。

すなわち、左眼画像（参照画像）と右眼画像（基準画像）と図３により求めた画素対応情報とを入力とし、個々の入力画像の画素１つひとつについてノイズ値を求め、［単（ノイズ）］、［非（ノイズ）］、［両（ノイズ）］及び［両非（ノイズ）］のいずれかを示す『ノイズマスク』を出力する。

ノイズ値とは、画素（ｘ，ｙ）に対する周辺画素（ｘ−１，ｙ），（ｘ＋１，ｙ），（ｘ，ｙ−１）及び（ｘ，ｙ＋１）のそれぞれとの絶対差分値（ｓａｄ）の和とする。

画素（ｘ，ｙ）のノイズ値Ａ（基準画像）と（Ｘ，Ｙ）のノイズ値Ｂ（参照画像）に対して、ノイズ値の大きい方を単ノイズ画素（［単（ノイズ）］）に、小さい方を非ノイズ画素（［非（ノイズ）］）に決定する［１１５］。

なお、ノイズ値Ａ、ノイズ値Ｂともに閾値Ｔ１より大きい場合は、両ノイズ画素（［両（ノイズ）］）とする［１１３−ＹＥＳ］。また、ノイズ値Ａ、ノイズ値Ｂともに閾値Ｔ２より小さい場合は、両非ノイズ画素（［両非（ノイズ）］）とする［１２０］。

以下、上述した対応関係のある全ての画素（ｘ，ｙ）及び対応画素『（Ｘ，Ｙ）』に対して上述のノイズ判定を行い、左眼画像と右眼画像のそれぞれに『ノイズマスク』を生成し、出力する［１１９］。なお、上述の両非ノイズ画素（［両非（ノイズ）］）と判定された場合においても、対応画素計算部１３において、対応画素が無いと判断した画素（対応画素が取れなかった画素）との識別のため、『ノイズマスク』を作成する。

より詳細には、図４に示すように、取得した左（右）眼画像データのそれぞれから、右眼画素についてノイズ値Ａを計算し［１１１］、左眼画素についてノイズ値Ｂを計算する［１１２］。

以下、ノイズ値Ａ及びノイズ値Ｂのそれぞれと閾値Ｔ１とを比較し［１１３］、「Ａ＞Ｔ１，かつＢ＞Ｔ１」である場合［１１３−ＹＥＳ］、Ａ，Ｂのいずれもノイズである両ノイズ画素（［両（ノイズ）］）と判定［１１４］し、『ノイズマスク』を設定する［１１９］。

ノイズ値Ａ及びノイズ値Ｂのそれぞれと閾値Ｔ１とを比較し［１１３］、「Ａ ≦ Ｔ１，かつＢ ≦ Ｔ１」である場合［１１３−ＮＯ］、ノイズ値Ａ及びノイズ値Ｂのそれぞれと閾値Ｔ２とを比較する［１１５］。

ノイズ値Ａ及びノイズ値Ｂのそれぞれが、閾値Ｔ２に対して「Ａ＜Ｔ２，かつＢ＜Ｔ２」であるとき［１１５−ＹＥＳ］、Ａ，Ｂのいずれも非ノイズである。

一方、ノイズ値Ａ及びノイズ値Ｂのそれぞれが、閾値Ｔ２に対して「Ａ ≧ Ｔ２，またはＢ ≧ Ｔ２」（「Ａ＜Ｔ２，かつＢ＜Ｔ２」以外）であるならば、少なくとも１つがノイズ画像で残りが非ノイズ画像であることになる［１１５−ＮＯ］。

以下、閾値Ｔ２に対して「Ａ ≧ Ｔ２，またはＢ ≧ Ｔ２」であるとき（［１１５−ＮＯ］）、「Ａ＜Ｂ」を判定し［１１６］、「Ａ＜Ｂ」であるならば［１１６−ＹＥＳ］、左眼画素（画素値Ｂ）がノイズ（［単（ノイズ，左眼）］）であると判定する［１１７］。従って、「Ａ ≧ Ｂ」であるとき［１１６−ＮＯ］、右眼画素（画素値Ａ）がノイズ（［単（ノイズ），右眼］）であると判定する［１１８］。

以上から、両ノイズ画素（［両（ノイズ）］）、ノイズ（［単（ノイズ，左眼）］）及びノイズ（［単（ノイズ），右眼］）のそれぞれの画素については、『ノイズマスク』を設定する［１１９］。

なお、閾値Ｔ２は、画素値の分散などを参考に設定する値であり、閾値Ｔ１との間に、「Ｔ１＞Ｔ２」または「Ｔ１＜Ｔ２」の関係を持ち、フィルタ強度を決定するために利用される。また、「Ｔ１＝Ｔ２」となる場合もある。

次に、図５に一例を示すが、ノイズ判定部１５による上述のノイズ判定（図４）の判定結果に従い、ノイズ除去部１７にて、単ノイズ画素（［単（ノイズ）］）に対してノイズ除去処理を行う。

まず、左眼画像及び右眼画像ならびに図３により求めた画素対応情報、及び図４で生成した『ノイズマスク』を入力として［５１］、ノイズ除去部１７により、左（右）眼画像のノイズ画素の値を書き換えたノイズ除去後の左（右）画像を出力とする。ノイズ除去処理では、『ノイズマスク』の中の単ノイズ画素（ｘ，ｙ）の画素値Ｕ（ｘ，ｙ）を、対応する非ノイズ画素（Ｘ，Ｙ）の画素値Ｖ（Ｘ，Ｙ）で置き換える［５２］。

以上の画素値の置き換えを、全ての単ノイズ画素（［単（ノイズ）］）に対して行い、左眼と右眼のノイズ除去後の画像を得る。

なお、上述の実施の形態においては、対応画素計算部は、一般にステレオマッチングと呼ばれる方式であれば、方式はいずれであっても構わない。

また、ノイズ判定部のノイズ値は、周辺画素とのずれ量を示す値であり、図３及び図４における説明に用いた周辺４画素以外の近傍画素との絶対差分値を複数加えてもよいし、絶対差分の代わりに差分二乗和を用いても構わない。

また、入力画像が３以上である場合（マルチ画像）についても同様に対応関係を求め、そのうちの任意の２枚の組み合わせを入力として、全組み合わせについて同様の処理を行うことで、対応可能である。

以上説明した通り、本実施の形態により、同一被写体（同一の撮像対象から２以上の画像を同一の瞬間に捕らえたもの）の対応点を比較して、撮像装置に起因するノイズ情報を取得することで、（撮像装置に起因する）ノイズを判別できる。

また、ノイズに対する補間画素に比較した残り（他方）の画像を利用することにより、ノイズを高精度に除去できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１１…画像処理装置、１３…対応画素計算部、１５…ノイズ判定部、１７…ノイズ除去部、２１…ステレオカメラ、３１…視差情報生成部、３３…視差画像生成部。

Claims

第１の画像信号として入力される第１の画像の任意の画素と、第１の画像信号と同一対象物について同時に取得される第２の画像信号として入力される第２の画像の任意の画素との対応を求める計算部と、
前記計算部が求めた対応情報を参照し、第１の画像の前記任意の画素及び前記第１の画素の前記任意の画素に対応する前記第２の画像の前記任意の画素のそれぞれの画素についてノイズ値を求め、前記それぞれの画素の前記ノイズ値が第一の値よりも大きい場合、前記それぞれの画素の両方をノイズ画素と判定し、前記それぞれの画素の前記ノイズ値が前記第一の値と等しいか小さい場合であって、前記それぞれの画素の前記ノイズ値が第二の値と等しいかいずれか一方が大きい場合、ノイズ値が大きい画素をノイズ画素と判断し、前記それぞれの画素の前記ノイズ値が何れも前記第二の値小さい場合、前記それぞれの画素を、非ノイズ画素と判定する判定部と、
前記判定部の判定結果に従い、ノイズ画素を補正するノイズ除去部と、
を具備する画像処理装置。
前記判定部は、前記計算部が求めた対応情報と前記判定部の判定結果に基づき、前記ノイズ除去部による画素の補正に用いるノイズマスクを生成する請求項１記載の画像処理装置。
前記判定部は、前記計算部が求めた対応情報と前記判定部の判定結果に基づき、非ノイズ画素と判定された画素のみを用いて画素の補正に用いるノイズマスクを生成する請求項２記載の画像処理装置。
前記計算部は、第１の画像の前記任意の画素及び第２の画像の前記任意の画素の一方の画素を基準とし、ＳＡＤ（Sum of Absolute Differences）の最小値とＳＡＤが最小になる画素を求め、ＳＡＤの最小値が閾値より小さい場合、前記ＳＡＤが最小になる画素を、基準とした画素に対応する画素とする請求項１〜３のいずれかに記載の画像処理装置。
前記ノイズマスクは、前記基準とした画素に対応する請求項４記載の画像処理装置。
前記ノイズマスクは、前記基準とした画素に対応する画素に対応する請求項４記載の画像処理装置。
前記ノイズマスクは、前記基準とした画素及び前記基準とした画素に対応する画素のそれぞれに対応する請求項４記載の画像処理装置。
第１の画像信号として入力される第１の画像の任意の画素と、第１の画像信号と同一対象物について同時に取得され第２の画像信号として入力される第２の画像の任意の画素との対応を求め、
第１の画像の前記任意の画素及び前記第１の画素の前記任意の画素に対応する前記第２の画像の前記任意の画素のそれぞれの画素についてノイズ値を求め、
前記それぞれの画素の前記ノイズ値が第一の値よりも大きい場合、前記それぞれの画素の両方をノイズ画素と判定し、
前記それぞれの画素の前記ノイズ値が前記第一の値と等しいか小さい場合であって、前記それぞれの画素の前記ノイズ値が第二の値と等しいかいずれか一方が大きい場合、ノイズ値が大きい画素をノイズ画素と判断し、
前記それぞれの画素の前記ノイズ値が何れも前記第二の値小さい場合、前記それぞれの画素を、非ノイズ画素と判定した判定結果に従い、ノイズ画素を補正する画像処理方法。
第１の画像の前記任意の画素と第２の画像の前記任意の画素との間に対応関係があり、少なくとも一方の画素がノイズと判定された場合、ノイズの除去に用いるノイズマスクを生成する請求項８記載の画像処理方法。
ノイズマスクの生成に、非ノイズ画素と判定された画素のみを用いる請求項９記載の画像処理方法。
第１の画像の前記任意の画素及び第２の画像の前記任意の画素の一方の画素を基準としてＳＡＤ（Sum of Absolute Differences）の最小値とＳＡＤが最小になる画素を求め、ＳＡＤの最小値が閾値より小さい場合、前記ＳＡＤが最小になる画素を、基準とした画素に対応する画素とする請求項８〜１０のいずれかに記載の画像処理方法。