実施の形態1.
図1は本発明の実施の形態1による画像処理装置の構成を示す。図示の画像処理装置は、例えば画像表示装置の一部として用いることができる。
図示の画像処理装置は、中間画像生成手段1と、中間画像処理手段2と、補正強度決定手段3と、補正手段4と、加算手段5を有する。
中間画像生成手段1は、入力画像DINの特定の周波数帯域近傍の成分を取り出した中間画像(第1の中間画像)D1を生成する。
中間画像処理手段2は、中間画像D1に後述する処理を行なった中間画像(第2の中間画像)D2を生成する。
補正強度決定手段3は、中間画像D1に対して後述する処理を行って得られる補正強度D3を決定し、補正強度を表すデータを出力する。以下では、補正強度を表すデータを単に補正強度と言うことがあり、同じ符号D3で表す。
補正手段4は、中間画像D2と補正強度D3を基に後述する処理を行って得られる補正画像D4を出力する。
加算手段5は、入力画像DINと補正画像D4を加算する。加算手段5による加算結果が出力画像DOUTとして出力される。
なお、以下の説明では図示の画像処理装置に入力される入力画像DINは、一連の画像から成る動画であるとする。
以下、実施の形態1による画像処理装置の詳細な構成、動作について説明を行う。
中間画像生成手段1は、例えば図2に示すように、高周波数成分画像生成手段1Aと、低周波数成分画像生成手段1Bとを備える。
高周波数成分画像生成手段1Aでは、入力画像DINの高周波数成分のみを取り出した画像D1Aを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。ここで高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。すなわち高周波数成分画像生成手段1Aは、入力画像DINに対し、水平方向のハイパスフィルタ処理を行って水平方向についてのみ高周波数成分を取り出した画像D1Ahを生成する水平方向高周波数成分画像生成手段1Ahと、垂直方向のハイパスフィルタ処理を行って垂直方向についてのみ高周波数成分を取り出した画像D1Avを生成する垂直方向高周波数成分画像生成手段1Avとを備え、画像D1Aは画像D1Ahと画像D1Avから成る。
低周波数成分画像生成手段1Bでは、画像D1Aの低周波数成分のみを取り出した画像D1Bを生成する。低周波数成分の取り出しは、ローパスフィルタ処理を行うことで可能である。なお、低周波数成分の取り出しは水平方向及び垂直方向それぞれについて行う。すなわち低周波数成分画像生成手段1Bは、画像D1Ahに対し水平方向のローパスフィルタ処理を行った画像D1Bhを生成する水平方向低周波数成分画像生成手段1Bhと、画像D1Avに対し垂直方向のローパスフィルタ処理を行った画像D1Bvを生成する垂直方向低周波数成分画像生成手段1Bvとを備え、画像D1Bは画像D1Bhと画像D1Bvから成る。
中間画像生成手段1からは、画像D1Bが中間画像D1として出力される。ここで中間画像D1は、画像D1Bhに相当する画像D1h、及び画像D1Bvに相当する画像D1vから成る。また、中間画像生成手段1では、高周波数成分画像生成手段1Aと低周波数成分画像生成手段1Bとで帯域通過フィルタ手段が構成されている。さらに、画像D1hは、入力画像DINを水平方向に帯域制限した画像となり、画像D1vは、入力画像DINを垂直方向に帯域制限した画像となる。
中間画像処理手段2について説明する。図3は中間画像処理手段2の構成例を示す。図示の中間画像処理手段2は、非線形処理手段2Aと、高周波数成分画像生成手段2Bと、中間画像D1と画像D2Bを加算した画像D2Cを出力する加算手段2Cとを備える。
非線形処理手段2Aは、中間画像D1に対し、後述する非線形処理を行った画像D2Aを出力する。ここで、非線形処理手段2Aで行う非線形処理は、水平方向及び垂直方向それぞれについて行う。すなわち非線形処理手段2Aは、画像D1Bhに対して後述する非線形処理を行って画像D2Ahを生成する水平方向非線形処理手段2Ahと、画像D1Bvに対して後述する非線形処理を行って画像D2Avを生成する垂直方向非線形処理手段2Avとを備え、画像D2Aは画像D2Ahと画像D2Avから成る。
非線形処理手段2Aの動作についてさらに詳しく説明する。非線形処理手段2Aは同様の構成を有する水平方向非線形処理手段2Ah、及び垂直方向非線形処理手段2Avを備える。ここで、水平方向非線形処理手段2Ahは水平方向の処理を行い、垂直方向非線形処理手段2Avは垂直方向の処理を行う。
図4は水平方向非線形処理手段2Ahの構成例を示す。図示の水平方向非線形処理手段2Ahは、ゼロクロス判定手段311hと、信号増幅手段312hとを備える。なお、水平方向非線形処理手段2Ahには、画像D1hが入力画像DIN311hとして入力される。
ゼロクロス判定手段311hは入力画像DIN311hにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値或いは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号D311hによってゼロクロス点の前後にある画素(前後において隣接する画素)の位置を信号増幅手段312hに伝達する。例えばゼロクロス点の左右に位置する画素がゼロクロス点の前後に位置する画素として認識される。
信号増幅手段312hは信号D311hをもとにゼロクロス点の前後にある画素(前後において隣接する画素)を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた(絶対値を大きくした)非線形処理画像D312hを生成する。すなわち、ゼロクロス点前後にある画素の画素値に対しては増幅率を1より大きな値とし、それ以外の画素の画素値に対しての増幅率は1とする。
そして水平方向非線形処理手段2Ahからは画像D2Ahとして非線形処理画像D312hが出力される。
図5は垂直方向非線形処理手段2Avの構成例を示す。図示の垂直方向非線形処理手段2Avは、ゼロクロス判定手段311vと、信号増幅手段312vとを備える。なお、垂直方向非線形処理手段2Avには、画像D1vが入力画像DIN311vとして入力される。
ゼロクロス判定手段311vは入力画像DIN311vにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値或いは負の値から正の値へと変化する箇所をゼロクロス点として捉え、信号D311vによってゼロクロス点の前後にある画素(前後において隣接する画素)の位置を信号増幅手段312vに伝達する。例えばゼロクロス点の上下に位置する画素がゼロクロス点の前後に位置する画素として認識される。
信号増幅手段312vは信号D311vをもとにゼロクロス点の前後にある画素(前後において隣接する画素)を特定し、ゼロクロス点の前後にある画素についてのみその画素値を増幅させた(絶対値を大きくした)非線形処理画像D312vを生成する。すなわち、ゼロクロス点前後にある画素の画素値に対しては増幅率を1より大きな値とし、それ以外の画素の画素値に対しての増幅率は1とする。
そして垂直方向非線形処理手段2Avからは画像D2Avとして非線形処理画像D312vが出力される。
以上が非線形処理手段2Aの動作である。
高周波数成分画像生成手段2Bは、画像D2Aの高周波数成分のみを取り出した画像D2Bを生成する。高周波数成分の取り出しは、ハイパスフィルタ処理を行うことで可能である。なお、高周波数成分の取り出しは画像の水平方向及び垂直方向それぞれについて行う。すなわち高周波数成分画像生成手段2Bは、画像D2Ahに対し水平方向のハイパスフィルタ処理を行った画像D2Bhを生成する水平方向高周波数成分画像生成手段2Bhと、画像D2Avに対し垂直方向のハイパスフィルタ処理を行った画像D2Bvを生成する垂直方向高周波数成分画像生成手段2Bvとを備え、画像D2Bは画像D2Bhと画像D2Bvから成る。
加算手段2Cは、中間画像D1と画像D2Bを加算して画像D2Cを生成する。なお、中間画像D1は画像D1h及び画像D1vから成っており、画像D2Bは画像D2Bh及び画像D2Bvから成っているので、中間画像D1と画像D2Bを加算するとは、画像D1h、D1v、D2Bh、D2Bvの全てを加算することを意味する。ここで、加算手段2Cでの加算処理は単純加算に限らず重み付け加算を用いてもよい。すなわち、画像D1h、D1v、D2Bh、D2Bvの各々をそれぞれ異なる増幅率で増幅してから加算してもよい。
そして中間画像処理手段2からは、画像D2Cが中間画像D2として出力される。
補正強度決定手段3について説明する。図6は補正強度決定手段3の構成例を示す。図示の補正強度決定手段3は、比較手段3Aと、比較結果加算手段3Bとを備える。
比較手段3Aは中間画像D1の各画素について、画素値の絶対値を予め定められた閾値と比較し、その結果を比較結果D3Aとして出力する。すなわち比較結果D3Aとして得られる出力値は、中間画像D1の画素値の絶対値が予め定められた閾値より大きい場合は1になり、そうでない場合は0になる。なお、中間画像D1が画像D1h、D1vから成るので、閾値との比較は画像D1h、D1vそれぞれについて行う。すなわち比較手段3Aは画像D1hに対して後述する処理を行う水平方向比較手段3Ahと、画像D1vに対して後述する処理を行う垂直方向比較手段3Avとを備え、比較結果D3Aは、水平方向比較手段3Ahが出力する比較結果D3Ahと、垂直方向比較手段3Avが出力する比較結果D3Avから成る。以下、水平方向比較手段3Ah、及び垂直方向比較手段3Avの動作についてさらに説明する。
水平方向比較手段3Ahは、画像D1hの各画素について、画素値の絶対値を予め定められた閾値と比較し、その結果を比較結果D3Ahとして出力する。比較結果D3Ahとして得られる出力値は、画像D1hの画素値の絶対値が予め定められた閾値より大きい場合は1になり、そうでない場合は0になる。ここで閾値は画像D1hの画素値の符号が正の場合と負の場合で異なる値を用いてもよい。
垂直方向比較手段3Avは、画像D1vの各画素について、画素値の絶対値を予め定められた閾値と比較し、その結果を比較結果D3Avとして出力する。比較結果D3Avとして得られる出力値は、画像D1vの画素値の絶対値が予め定められた閾値より大きい場合は1になり、そうでない場合は0になる。ここで閾値は画像D1hの画素値の符号が正の場合と負の場合で異なる値を用いてもよい。
比較結果加算手段3Bは比較結果D3Aとして得られる出力値を複数画素分加算し、その結果を加算結果D3Bとして出力する。この加算においては、各画素(注目画素)について、当該注目画素を中心とする所定の範囲内に位置する複数の画素についての比較結果D3Aとして得られる出力値が加算される。この加算処理は比較結果D3Ah、D3Avのそれぞれに対して行う。すなわち比較結果加算手段3Bは、比較結果D3Ahに対して後述の処理を行う水平方向比較結果加算手段3Bhと、比較結果D3Avに対して後述の処理を行う垂直方向比較結果加算手段3Bvとを備え、加算結果D3Bは、水平方向比較結果加算手段3Bhが出力する加算結果D3Bhと、垂直方向比較結果加算手段3Bvが出力する加算結果D3Bvから成る。以下、水平方向比較結果加算手段3Bh、及び垂直方向比較結果加算手段3Bvの動作についてさらに説明する。
水平方向比較結果加算手段3Bhは、各画素についての比較結果D3Ahについて、その画素を中心とした所定の範囲内に存在する画素の画素値を加算し、その結果を加算結果D3Bhとして出力する。
垂直方向比較結果加算手段3Bvは、各画素についての比較結果D3Avについて、その画素を中心とした所定の範囲内に存在する画素の画素値を加算し、その結果を加算結果D3Bvとして出力する。
図7(A)〜(C)は水平方向比較結果加算手段3Bhの動作を説明するための図であり、図7(A)は画像D1hを、図7(B)は比較結果D3Ahを、図7(C)は加算結果D3Bhを表す。図7(A)〜(C)では画像の水平方向及び垂直方向に合わせて水平座標、垂直座標及び各座標値が表されている。
図7(A)では、水平座標x、垂直座標yの位置にある画素の画素値がD1h(x,y)という記号で表されている。
図7(B)には、図7(A)に示した画像D1hに対して得られる比較結果D3Ahの一例が示されている。図7(B)に示した例ではD1h(2,1)、D1h(2,2)、D1h(4,2)、D1h(4,3)、D1h(2,4)、D1h(3,4)、D1h(4,4)の絶対値が予め与えられた閾値より大きくなっている。
図7(C)には、図7(B)に示した比較結果D3Ahに対して得られる加算結果(水平方向加算結果)D3Bhが示されている。ここで加算結果D3Bhを計算する際、各画素を中心に水平方向に左右2画素の範囲にある比較結果D3Ahの値を加算することとしている。すなわち、水平座標x、垂直座標yの位置にある画素に対して与えられる比較結果D3Ahの値をD3Ah(x,y)という記号で表し、水平座標x、垂直座標yの位置にある画素に対して与えられる加算結果D3Bhの値をD3Bh(x,y)という記号で表すとD3Bh(x,y)は、下記の式(1)で表される。
なお、図7(C)に示された加算結果D3Bhを計算する際に、図7(B)に示されていない比較結果D3Ahの値、例えばD3Ah(1,6)などは0とした。
なお、ここでは水平方向に左右2画素の範囲内に含まれる比較結果を単純加算することとしているが、加算方法は単純加算に限らず加重加算であってもよい。さらに加算に用いる範囲も左右2画素までに限るものではない。
図8(A)〜(C)は垂直方向比較結果加算手段3Bvの動作を説明するための図であり、図8(A)は画像D1vを、図8(B)は比較結果D3Avを、図8(C)は加算結果D3Bvを表す。図8(A)〜(C)では画像の水平方向及び垂直方向に合わせて水平座標、垂直座標及び各座標値が表されている。
図8(A)では、水平座標x、垂直座標yの位置にある画素の画素値がD1v(x,y)という記号で表されている。
図8(B)には、図8(A)に示した画像D1vに対して得られる比較結果D3Avの一例が示されている。図8(B)に示した例ではD1v(2,1)、D1v(2,2)、D1v(4,2)、D1v(4,3)、D1v(2,4)、D1v(3,4)、D1v(4,4)の絶対値が予め与えられた閾値より大きくなっている。
図8(C)には、図8(B)に示した比較結果D3Avに対して得られる加算結果(垂直方向加算結果)D3Bvが示されている。ここで加算結果D3Bvを計算する際、各画素を中心に垂直方向に上下2画素の範囲にある比較結果D3Avの値を加算することとしている。すなわち、水平座標x、垂直座標yの位置にある画素に対して与えられる比較結果D3Avの値をD3Av(x,y)という記号で表し、水平座標x、垂直座標yの位置にある画素に対して与えられる加算結果D3Bvの値をD3Bv(x,y)という記号で表すとD3Bv(x,y)は、下記の式(2)で表される。
なお、図8(C)に示された加算結果D3Bvを計算する際に、図8(B)に示されていない比較結果D3Avの値、例えばD3Av(1,6)などは0とした。
なお、ここでは垂直方向に上下2画素の範囲内に含まれる比較結果を単純加算することとしているが、加算方法は単純加算に限らず加重加算であってもよい。さらに加算に用いる範囲も上下2画素までに限るものではない。
上記のうち、水平方向比較手段3Ahと水平方向比較結果加算手段3Bhとで、画素毎に水平方向加算結果D3Bhを求める水平方向補正強度決定手段3hが構成され、垂直方向比較手段3Avと垂直方向比較結果加算手段3Bvとで、画素毎に垂直方向加算結果D3Bvを求める垂直方向補正強度決定手段3vが構成される。
水平方向加算結果D3Bhと垂直方向加算結果D3Bvとから成る加算結果D3Bは、画素毎の補正強度D3として出力される。
加算結果D3Bは水平方向加算結果D3Bh及び垂直方向加算結果D3Bvから成るので、補正強度D3は水平方向加算結果D3Bhに相当する水平方向補正強度D3h及び垂直方向加算結果D3Bvに相当する垂直方向補正強度D3vから成る。
補正強度決定手段3が以上のように動作することで、補正強度D3の値は、中間画像D1の画素値の絶対値が大きい箇所及びその近傍、或いは中間画像D1において、画素値の絶対値が大きい画素が多く集まっている箇所乃至領域(以下ではこれらの箇所を「画素値の絶対値が大きい画素の分布密度の高い領域」という)においては、0より大きくなり、それ以外の箇所では0になる。即ち、補正強度決定手段3は中間画像D1の画素値の絶対値が大きい画素の分布密度の高い領域を検出することになる。
補正手段4について説明する。図9は補正手段4の構成例を示す。図示の補正手段4は、補正量決定手段4Aと、補正演算手段4Bとを備える。
補正量決定手段4Aは補正量D4Aを決定する。
補正量D4Aは補正強度決定手段3で中間画像D1の画素値の絶対値が大きい画素の分布密度の高いと検出された領域において大きな値になるように求められる。例えば補正量D4Aは補正強度D3に所定の係数を乗ずるといった方法で求める。ここで補正強度D3に乗ずる係数は中間画像D2の画素値の符号が正の場合と負の場合で異なるものとしてもよい。
補正量決定手段4Aは、例えば図10に示すように、水平方向補正量決定手段4Ah、垂直方向補正量決定手段4Av、及び加算手段4Apを備える。以下、補正量決定手段4Aの動作の詳細を述べる。
水平方向補正量決定手段4Ahは水平方向補正量D4Ahを求める。ここで水平方向補正量D4Ahは、水平方向補正強度決定手段3hで画素値の絶対値が大きい画素の分布密度の高いと検出された領域において大きな値になるように求められる。例えば水平方向補正量D4Ahは水平方向補正強度D3hに所定の値を乗じることで求められる。ここで、補正強度D3hに乗じる所定の値は、1より大きな値であり、望ましい画像が得られるように、実験的に定められ、また、中間画像D2の画素値が正の場合と負の場合で異なる値としてもよい。
その他の方法として、水平方向補正強度D3hが所定の大きさ未満では、水平方向補正量D4Ahが0であり、水平方向補正強度D3hが所定の大きさ以上となる少なくとも一部の区間において、水平方向補正量D4Ahが所定の大きさ以上の値となるようにしてもよい。例えば図11に示すように、水平方向補正強度D3hが所定の大きさTHD3h未満では、水平方向補正量D4Ahが0であり、水平方向補正強度D3hが上記所定の大きさTHD3h以上である区間の全域において、水平方向補正量D4Ahが所定の大きさD4Ahcとなるようにしてもよい。
垂直方向補正量決定手段4Avは垂直方向補正量D4Avを求める。ここで垂直方向補正量D4Avは、垂直方向補正強度決定手段3vで画素値の絶対値が大きい画素の分布密度の高いと検出された領域において大きな値になるように求められる。例えば垂直方向補正量D4Avは垂直方向補正強度D3vに所定の値を乗じることで求められる。ここで、補正強度D3vに乗じる所定の値は、1より大きな値であり、望ましい画像が得られるように、実験的に定められ、また、所定の値は中間画像D2の画素値が正の場合と負の場合で異なる値としてもよい。
その他の方法として、垂直方向補正強度D3vが所定の大きさ未満では、垂直方向補正量D4Avが0であり、垂直方向補正強度D3vが所定の大きさ以上となる少なくとも一部の区間において、垂直方向補正量D4Avが所定の大きさ以上の値となるようにしてもよい。例えば、垂直方向補正強度D3vと垂直方向補正量D4Avの関係は、図11に示される、水平方向補正強度D3hと水平方向補正量D4Ahの関係と同様であっても良い。
加算手段4Apは水平方向補正量D4Ahと垂直方向補正量D4Avを加算する。そして加算した結果が補正量D4Aとして補正量決定手段4Aから出力される。
以上が補正量決定手段4Aの動作である。
補正演算手段4Bは中間画像D2の画素値を補正量D4Aに基づいて補正する。ここで補正は補正量D4Aの絶対値だけ中間画像D2の画素値の絶対値が小さくなるように行う。すなわち補正演算手段4Bは、中間画像D2の画素値が正の場合はその値から補正量D4Aの絶対値を減算し、中間画像D2の画素値が負の場合はその値に補正量D4Aの絶対値を加算する。そして補正演算手段4Bの出力が補正画像D4として補正手段4から出力される。
補正量D4Aは中間画像D1の画素値の絶対値が大きい画素の分布密度の高いと検出された領域において大きな値になるように求められることを考慮すると、補正演算手段4Bでは、中間画像D1の画素値の絶対値が大きい画素の分布密度の高い領域で中間画像D2の振幅が減衰するよう補正を加えることとなる。
加算手段5について説明する。
加算手段5は、入力画像DINと補正画像D4を加算する。加算手段5による加算結果が出力画像DOUTとして出力される。
以上が本発明の実施の形態1による画像処理装置の動作である。
以下、本発明における画像処理装置を画像表示装置の一部として利用する例について説明する。この説明を通じて、本発明における画像処理装置の作用、効果も明らかなものとなるであろう。なお、以下の説明では特に断らない限り、符号Fnは入力画像DINのナイキスト周波数を表す。
図12は本発明に係る画像処理装置を利用した画像表示装置の例を示す。図示の画像表示装置では、モニタU3上に原画DORGに対応した画像が表示される。
画像拡大手段U1は、原画DORGの画像サイズがモニタU3の画像サイズより小さい場合、原画DORGを拡大した画像DU1を出力する。ここで画像を拡大する手段としては、バイキュービック法などを用いることができる。
本発明に係る画像処理装置U2は、画像DU1に対し、先に図1〜図11を参照して説明した処理を行った画像DU2を出力する。そしてモニタU8上には画像DU2が表示される。
以下、原画DORGは、水平方向及び垂直方向ともその画素数がモニタU3の画素数の半分であるとして、まず画像拡大手段U1について説明を行う。
図13は画像拡大手段U1の構成例を示す。図示の画像拡大手段U1は水平方向ゼロ挿入手段U1A、水平方向低周波数成分通過手段U1B、垂直方向ゼロ挿入手段U1C、及び垂直方向低周波数成分通過手段U1Dを備える。水平方向ゼロ挿入手段U1Aは原画DORGの水平方向に関して画素値0を持つ画素を適宜挿入した画像DU1Aを生成する。水平方向低周波数成分通過手段U1Bはローパスフィルタ処理により画像DU1Aの低周波数成分のみを取り出した画像DU1Bを生成する。垂直方向ゼロ挿入手段U1Cは画像DU1Bの垂直方向に関して画素値0を持つ画素を適宜挿入した画像DU1Cを生成する。垂直方向低周波数成分通過手段U1Dはローパスフィルタ処理により画像DU1Cの低周波数成分のみを取り出した画像DU1Dを生成する。そして画像DU1Dが原画DORGを水平方向及び垂直方向とも2倍した画像DU1として、画像拡大手段U1から出力される。
図14(A)〜(E)は画像拡大手段U1の動作を詳しく説明するための図であり、図14(A)は原画DORGを、図14(B)は画像DU1Aを、図14(C)は画像DU1Bを、図14(D)は画像DU1Cを、図14(E)は画像DU1Dを表す。図14(A)〜(E)に関して、四角(各升目)は画素を表し、その中に書かれた記号或いは数値は各画素の画素値を表す。
水平方向ゼロ挿入手段U1Aは図14(A)に示す原画DORGに対して、水平方向の1画素につき1個、画素値0をもった画素を挿入し(即ち、原画DORGの水平方向に隣接する画素列相互間に一つの、画素値0の画素から成る画素列を挿入し)、図14(B)に示す画像DU1Aを生成する。水平方向低周波数成分通過手段U1Bは図14(B)に示す画像DU1Aに対して、ローパスフィルタ処理を施し、図14(C)に示す画像DU1Bを生成する。垂直方向ゼロ挿入手段U1Cは図14(C)に示す画像DU1Bに対して、垂直方向の1画素につき1個、画素値0をもった画素を挿入し(即ち、画像DU1Bの垂直方向に隣接する画素行相互間に一つの、画素値0の画素から成る画素行を挿入し)、図14(D)に示す画像DU1Cを生成する。垂直方向低周波数成分通過手段U1Dは図14(D)に示す画像DU1Cに対して、ローパスフィルタ処理を施し、図14(E)に示す画像DU1Dを生成する。以上の処理により原画DORGを水平方向及び垂直方向とも2倍に拡大した画像DU1Dが生成される。
図15(A)〜(D)は、画像拡大手段U1による処理の作用を周波数空間上で表したものであり、図15(A)は原画DORGの周波数スペクトル、図15(B)は画像DU1Aの周波数スペクトル、図15(C)は水平方向低周波数成分通過手段U1Bの周波数応答、図15(D)は画像DU1Bの周波数スペクトルを表している。なお、図15(A)〜(D)において横軸は水平方向の空間周波数を表す周波数軸であり、縦軸は周波数スペクトルもしくは周波数応答の強度を表している。なお原画DORGの画素数は入力画像DINの半分となっており、言い換えると原画DORGのサンプリング間隔は入力画像DINのサンプリング間隔の2倍になっている。したがって原画DORGのナイキスト周波数は入力画像DINのナイキスト周波数の半分すなわち、Fn/2となる。
なお、図15(A)〜(D)では表記を簡素にするため、1本の周波数軸しか用いていない。しかしながら、通常、画像データは2次元平面状に並んだ画素配列上に与えられた画素値から成り、その周波数スペクトルも水平方向の周波数軸及び垂直方向の周波数軸で張られる平面上に与えられるものである。したがって原画DORG等の周波数スペクトル等を正確に表すためには、水平方向の周波数軸及び垂直方向の周波数軸の両方を記載する必要がある。しかしながらその周波数スペクトルの形状は通常、周波数軸上の原点を中心に等方的に広がったものであり、周波数軸1本で張られる空間上での周波数スペクトルを示しさえすれば、そこから周波数軸2本で張られる空間へ拡張して考察することは当業者にとって容易である。したがって以降の説明でも特に断らない限り、周波数空間上での説明は、1本の周波数軸で張られる空間を用いて行う。
まず、原画DORGの周波数スペクトルについて説明する。通常、自然画像が原画DORGとして入力されるがそのスペクトル強度は周波数空間の原点周辺に集中している。したがって原画DORGの周波数スペクトルは図15(A)のように表すスペクトルSPOのようになる。
次に、画像DU1Aのスペクトル強度について説明する。画像DU1Aは、原画DORGに対して、水平方向に1画素につき1画素、画素値0を持った画素を挿入することで生成される。このような処理を行うと周波数スペクトルには原画DORGのナイキスト周波数を中心にした折り返しが発生する。すなわち周波数±Fn/2を中心にスペクトルSPOが折り返したスペクトルSPMが発生するので、画像DU1Aの周波数スペクトルは図15(B)のように表される。
次に、水平方向低周波数成分通過手段U1Bの周波数応答について説明する。水平方向低周波数成分通過手段U1Bはローパスフィルタによって実現されるので、その周波数応答は図15(C)に示すように周波数が高くなるほど低くなる。
最後に、画像DU1Bの周波数スペクトルについて説明する。図15(B)に示す周波数スペクトルを持った画像DU1Aに対し、図15(C)に示した周波数応答を持ったローパスフィルタ処理を行うことで、画像DU1Bが得られる。したがって画像DU1Bの周波数スペクトルは画像DU1Bに示すように、スペクトルSPMの強度がある程度落ちたスペクトルSP2と、スペクトルSPOの強度がある程度落ちたスペクトルSP1から成る。なお一般に、ローパスフィルタの周波数応答は周波数が高くなるほど低くなる。従って、スペクトルSP1の強度をスペクトルSPOと比較すると、水平方向低周波数成分通過手段U1Bによって、高周波数成分側、すなわち周波数が±Fn/2近傍でのスペクトル強度が減少したものとなる。
また、画像拡大手段U1による処理のうち、垂直方向ゼロ挿入手段U1C及び垂直方向低周波数成分通過手段U1Dによる処理について、その周波数空間上での作用についての説明は省略するが、その処理の内容から、垂直方向の空間周波数を表す軸方向に対して、図15(A)〜(D)を用いて説明した内容と同様の作用があることは容易に理解できる。すなわち、画像DU1Dの周波数スペクトルは、図15(D)に示した周波数スペクトルが2次元上に広がったものとなる。
また、以降の説明ではスペクトルSP2のことを折り返し成分と呼ぶ。この折り返し成分は、画像上では、比較的高い周波数成分を持ったノイズ或いは偽の信号として現れる。そのようなノイズ或いは偽の信号としてオーバーシュートやジャギー或いはリンギング等が挙げられる。
以下、本発明に係る画像処理装置の作用、効果について説明する。
図16(A)〜(E)は入力画像DIN(もしくは画像DU1)として原画DORGを拡大して得られた画像DU1Dが入力された場合の、入力画像DINから中間画像D1を生成する際の作用、効果を模式的に表した図であり、図16(A)は入力画像DINの周波数スペクトルを、図16(B)は高周波数成分画像生成手段1Aの周波数応答を、図16(C)は低周波数成分画像生成手段1Bの周波数応答を、図16(D)は中間画像生成手段1の周波数応答を、図16(E)は中間画像D1の周波数スペクトルを表す。なお、図16(A)〜(E)においても図15(A)〜(D)と同様の理由で周波数軸は1本しか用いていない。
さらに図16(A)〜(E)では、空間周波数が0以上となる範囲でのみ周波数スペクトル或いは周波数応答の強度を表しているが、以下の説明での周波数スペクトル或いは周波数応答は、周波数軸上の原点を中心に対称的な形状となる。したがって説明に用いる図は、空間周波数が0以上となる範囲のみを示したもので十分である。
まず、入力画像DINの周波数スペクトルについて説明する。画像DU1Dが入力画像DINとして入力されるので、入力画像DINの周波数スペクトルは図16(A)に示すように、周波数スペクトルは図15(D)で説明したものと同じ形状となり、原画DORGのスペクトルSPOの強度がある程度落ちたスペクトルSP1と折り返し成分となるスペクトルSP2から成る。
次に、高周波数成分画像生成手段1Aの周波数応答について説明する。高周波数成分画像生成手段1Aはハイパスフィルタにより構成されているので、その周波数応答は図16(B)に示すように周波数が低くなるほど低くなる。
次に、低周波数成分画像生成手段1Bの周波数応答について説明する。低周波数成分画像生成手段1Bはローパスフィルタにより構成されているので、その周波数応答は図16(C)に示すように周波数が高くなるほど低くなる。
次に、中間画像生成手段1の周波数応答について説明する。入力画像DINが持つ周波数成分のうち、図16(D)に示された低周波数成分側の領域RL1の周波数成分については、中間画像生成手段1内の高周波数成分画像生成手段1Aで弱められる。一方、図16(D)に示された高周波数成分側の領域RH1の周波数成分については、中間画像生成手段1内の低周波数成分画像生成手段1Bで弱められる。したがって、中間画像生成手段1の周波数応答は、図16(D)に示すように、低周波数成分側の領域RL1と高周波数成分側の領域RH1によって帯域を制限された中間の領域RM1にピークを持ったものとなる。
この中間の領域RM1は、原画DORGに画素値0を持った画素を挿入することに伴って発生される折り返し成分を含まないものであり、原画DORGのナイキスト周波数Fn/2以下の領域の一部を占める。
次に、中間画像D1の周波数スペクトルについて説明する。図16(A)に示す周波数スペクトルを持つ入力画像DINが、図16(D)に示した周波数応答を持つ中間画像生成手段1を通過することで、中間画像D1が得られる。そして中間画像生成手段1の周波数応答は、低周波数成分側の領域RL1と高周波数成分側の領域RH1によって帯域制限された中間の領域RM1にピークを持ったものなので、中間画像D1の周波数スペクトルは、入力画像DINの周波数スペクトルのうち、低周波数成分側の領域RL1と高周波数成分側の領域RH1に含まれる部分の強度が弱くなったものとなる。従って中間画像D1は入力画像DINの持つ高周波数成分から折り返し成分となるスペクトルSP1を取り除いたものとなる。すなわち中間画像生成手段1には、入力画像DINのもつ高周波数成分から折り返し成分となるスペクトルSP1を取り除いた中間画像D1を生成するという効果がある。
図17(A)〜(C)は中間画像処理手段2の作用、効果を表した図であり、図17(A)は非線形処理画像D2Aの周波数スペクトルを、図17(B)は高周波数成分画像生成手段2Bの周波数応答を、図17(C)は画像D2Bの周波数スペクトルを表す。なお、図17(A)〜(C)では、図16(A)〜(E)と同様の理由で、空間周波数が0以上となる範囲でのみ周波数スペクトル或いは周波数応答の強度を表している。
後述するように非線形処理画像D2Aは、高周波数成分側の領域RH2に相当する高周波数成分を含む。図17(A)はその様子を模式的に表した図である。画像D2Bは非線形処理画像D2Aが高周波数成分画像生成手段2Bを通過することで生成される。高周波数成分画像生成手段2Bはハイパスフィルタで構成されており、その周波数応答は図17(B)に示すように周波数が高くなるほど高いものとなる。従って画像D2Bの周波数スペクトルは図17(C)に示すように非線形処理画像D2Aの周波数スペクトルから低周波数成分側の領域RL2に相当する成分を取り除いたものとなる。言い換えると、非線形処理手段2Aには高周波数成分側の領域RH2に相当する高周波数成分を生成する効果があり、高周波数成分画像生成手段2Bには非線形処理手段2Aで生成された高周波数成分のみを取り出す効果がある。
上記の作用、効果についてさらに詳しく説明する。
図18(A)〜(C)及び図19(A)〜(C)は、ステップエッジと、ステップエッジをサンプリングした際に得られる相連続する画素の信号の値を示す図である。
図18(A)はステップエッジと、サンプリング間隔S1を表しており、図18(B)はステップエッジをサンプリング間隔S1でサンプリングした際に得られる信号を表しており、図18(C)は図18(B)に表された信号の高周波数成分(各画素値から各画素近傍の画素値の平均値を引くことで得られる成分)を表している。一方、図19(A)はステップエッジと、サンプリング間隔S1より間隔の広いサンプリング間隔S2を表しており、図19(B)はステップエッジをサンプリング間隔S2でサンプリングした際に得られる信号を表しており、図19(C)は図19(B)に表された信号の高周波数成分を表している。なお、以下の説明ではサンプリング間隔S2の長さはサンプリング間隔S1の長さ2倍であるとする。
図18(C)及び図19(C)に表されるようにステップエッジの中央は高周波数成分を表した信号においてゼロクロス点Zとして現れる。また、高周波数成分を表した信号のゼロクロス点Zの近傍での傾きは、サンプリング間隔が短いほど急になり、かつゼロクロス点Z近傍での局所的な最大値、最小値を与える点の位置も、サンプリング間隔が短いほどゼロクロス点Zに近づく。
すなわち、サンプリング間隔が変わっても、エッジ近傍において高周波数成分を表す信号のゼロクロス点の位置は変化しないが、サンプリング間隔が小さくなるほど(或いは解像度が上がるほど)エッジ近傍での高周波数成分の傾きは急になり、局所的な最大値、最小値を与える点の位置はゼロクロス点に近づく。
図20(A)〜(F)はステップエッジをサンプリング間隔S2でサンプリングした信号が2倍に拡大された後、本発明に係る画像処理装置に入力されるときの、中間画像生成手段1及び中間画像処理手段2の動作を表している。なお、先に述べた通り、中間画像生成手段1及び中間画像処理手段2の内部の処理は水平方向及び垂直方向のそれぞれについて行われるのでその処理は一次元的に行われる。したがって図20(A)〜(F)では一次元信号を用いて処理の内容を表している。
図20(A)は、図19(B)と同様に、ステップエッジをサンプリング間隔S2でサンプリングした信号である。図20(B)は、図20(A)に表した信号を2倍に拡大した信号である。すなわち、原画DORGに図20(A)に示すようなエッジが含まれる場合、入力画像DINとして図20(B)に示すような信号が入力される。なお、信号を2倍に拡大するとサンプリング間隔は拡大前の半分になるため、図20(B)に表した信号のサンプリング間隔は図18(A)〜(C)中のサンプリング間隔S1と同じになる。また、図20(A)において座標P3で表される位置はエッジ信号の低輝度側の境界部分であり、座標P4で表される位置はエッジ信号の高輝度側の境界部分である。
図20(C)は図20(B)に表した信号の高周波数成分を表した信号、すなわち高周波数成分画像生成手段1Aから出力される画像D1Aに相当する信号である。なお、画像D1Aは、入力画像DINの高周波数成分を取り出したものなので、その中には折り返し成分も含まれている。
図20(D)は図20(C)に表した信号の低周波数成分を表した信号、すなわち低周波数成分画像生成手段1Bから出力される画像D1Bに相当する信号である。なお先に述べたとおり画像D1Bが中間画像D1として出力されるので、図20(D)は中間画像D1にも相当する。図20(D)に示すとおり、中間画像D1においてゼロクロス点Z近傍の局所的な最小値は座標P3に、局所的な最大値は座標P4に表れ、その様子は図19(C)に示した、ステップエッジをサンプリング間隔S2でサンプリングした信号から取り出した高周波数成分と一致する。また、画像D1Aに含まれていた折り返し成分は、低周波数成分画像生成手段1Bで行うローパスフィルタ処理によって取り除かれる。
図20(E)は、図20(D)に表した信号に対する非線形処理手段2Aに入力された際の出力信号、すなわち、中間画像D1が入力された場合に非線形処理手段2Aから出力される画像D2Aを表している。非線形処理手段2Aではゼロクロス点Zの前後の座標P1、P2の信号値が増幅される。したがって、画像D2Aは図20(E)に示すように座標P1、P2での信号値の大きさが他の値に比べ大きくなり、ゼロクロス点Z近傍で、局所的な最小値の現れる位置が座標P3からよりゼロクロス点Zに近い座標P1に、局所的な最大値の現れる位置が座標P4からよりゼロクロス点Zに近い座標P1へと変化する。これは非線形処理手段2Aにおける、ゼロクロス点Z前後の画素の値を増幅するという非線形処理によって、高周波数成分が生成されたことを意味する。このように画素ごとに適応的に増幅率を変える、或いは画素に応じて処理の内容を適宜変えることで、高周波数成分を生成することが可能になる。すなわち非線形処理手段2Aには、中間画像D1には含まれない高周波数成分、すわなち、図17(A)に示した高周波数成分側の領域RH2に相当する高周波数成分を生成する効果がある。
図20(F)は図20(E)に表した信号の高周波数成分を表した信号、すなわち高周波数成分画像生成手段2Bから出力される画像D2Bに相当する信号である。図20(F)に示すとおり、画像D2Bにおいてゼロクロス点Z近傍の局所的な最小値は座標P1に、最大値は座標P2に表れ、その様子は図18(C)に示した、ステップエッジをサンプリング間隔S1でサンプリングした信号から取り出した高周波数成分と一致する。これは非線形処理手段2Aにおいて生成された高周波数成分が高周波数成分画像生成手段2Bによって取り出され、画像D2Bとして出力されることを意味する。また、取り出された画像D2Bはサンプリング間隔S1に対応した周波数成分を含む信号であるといえる。言い換えると、高周波数成分画像生成手段2Bには非線形処理手段2Aで生成された高周波数成分のみを取り出す効果がある。
加算手段2Cでは中間画像D1と画像D2Bを加算し画像D2Cを生成する。本発明では画像D2Cを入力画像DINに加算するわけではないが、まず仮に画像D2Cを入力画像DINに加算した場合について得られる効果について説明し、次に画像D2Cに代わり画像D4を加算することによる効果について説明する。
先に述べたとおり中間画像D1は入力画像DINの持つ高周波数成分から折り返し成分を取り除いたものであり、図16(E)に示すように原画DORGのナイキスト周波数近傍の高周波数成分に対応している。図15(D)で説明したとおり、原画DORGのナイキスト周波数近傍のスペクトル強度は画像拡大手段U1での拡大処理によって弱められているので、中間画像D1には拡大処理によって弱められたスペクトル成分が含まれている。さらに中間画像D1からは折り返し成分が取り除かれているので、オーバーシュートやジャギー或いはリンギングのもととなるような偽の信号は含まれていない。一方、画像D2Bはサンプリング間隔S1或いは原画DORGのナイキスト周波数成分以上の帯域に対応した高周波数成分である。
画像D2Cは中間画像D1と画像D2Bを加算して得られるものであるので、画像D2Cを入力画像DINに加算することで、折り返し成分を強調することなく拡大処理によって弱められたスペクトル強度を補うことがでる。さらに原画DORGのナイキスト周波数以上の帯域の高周波数成分も加算することが出来るので、画像の解像感を高めることも可能となる。
ところで、上記の説明の様にして生成した高周波数成分を入力画像DINに加算することで画像の鮮鋭感を増し、画質を向上することが可能であるが、入力画像によっては高周波数成分が過度に強調され、かえって画質の低下を招くことがある。
図21(A)〜図23を用いて高周波数成分の加算による画質の低下について説明する。
図21(A)は入力画像DINに縞模様のような周期的な模様が含まれていた場合を表す図である。特に縦縞のような模様が含まれる箇所の輝度変化を画像の水平方向に沿って表している。
図21(B)は図21(A)に示す入力画像DINに対して得られる中間画像D1を表す。
図21(C)は図21(B)に示す中間画像D1に対して得られる非線形処理画像D2Aを表す。座標P11、P12、P14、P15、P17、P18、P20、P21、P23、P24、P26、P27で示された点の振幅が非線形処理によって増幅される。
図21(D)は図21(C)に示す非線形処理画像D2Aに対して得られる画像D2Bを表す。
図21(E)は最終的に得られる出力画像DOUTを表す。出力画像DOUTは、図21(A)に示す入力画像DINに対して、図21(B)に示す中間画像D1と図21(D)に示す画像D2Bを加算して得られた中間画像D2を加算することで得られる。ここで座標P12から座標P14で示される区間、座標P18から座標P20で示される区間、及び座標P24から座標P26で示される区間では、中間画像D1、画像D2Bともに正の値を取っているので、出力画像DOUTの値は入力画像DINより大きくなる。一方、座標P15から座標P17で示される区間及び座標P21から座標P23で示される区間では、中間画像D1、画像D2Bともに負の値を取っているので、出力画像DOUTの値は入力画像DINより小さくなる。結果的に図21(E)に示すように、入力画像DINに含まれていた周期的な模様がよりはっきりと現れ、画像の解像感が増す。
図21(A)〜(E)で説明したように、入力画像DINに含まれる周期的な模様は、明部と暗部の輝度差がより大きくなることで、より鮮明になる。しかし、上記のように暗部と明部の輝度差がより大きくなることによって画質の低下を招くことがある。
ここで説明する画質の低下は、入力画像DINとして入力される動画内に周期的な模様が動くパターンを含む場合に起きやすい。
図22(A)、図23を用いて、入力画像DINとして入力される動画内に周期的な模様が動くパターンを含む場合を例にして考える。
図22(A)〜(D)は周期的な模様が動くパターンを含む動画を構成する一連の画像を表しており、特に縦縞のような模様が左から右へ動く箇所での輝度の変化を画像の水平方向にそって表している。図21(A)のうちのP10からP20までの範囲を示している。以下、入力画像DINとして図22(A)、(B)、(C)、(D)の順に入力される場合を考える。
図22(E)〜(F)は、この時得られる出力画像DOUTを示す。特に、図22(E)は図22(A)に示す入力画像DINに対して得られる出力画像DOUTを示し、図22(F)は図22(B)に示す入力画像DINに対して得られる出力画像DOUTを示し、図22(G)は図22(C)に示す入力画像DINに対して得られる出力画像DOUTを示し、図22(H)は図22(D)に示す入力画像DINに対して得られる出力画像DOUTを示す。
なお、図22(D)以降に入力される入力画像DINについては図示しないが、図22(A)と図22(D)はほぼ同様の形状となっており、引き続き図22(A)〜(C)と同じパターンの画像が入力されるものと仮定する。このとき、図22(H)以降に得られる出力画像DOUTは図示しないが、引き続き図22(E)〜(G)と同じパターンの出力画像DOUTが得られる。
図23は図22(E)〜(H)に示した出力画像DOUTにおいて座標P13で表される画素の輝度変化を時間軸に沿ってプロットしたものである。
図22(E)に示した出力画像DOUTが得られる時間をN、図22(F)に示した出力画像DOUTが得られる時間をN+1、図22(G)に示した出力画像DOUTが得られる時間をN+2、図22(H)に示した出力画像DOUTが得られる時間をN+3で表している。先に説明したとおり出力画像DOUTは時間N+3以降も図22(E)〜(G)と同じパターンを繰り返すので時間N+3以降も座標P13で表される画素の輝度変化は時間N〜N+2と同じパターンを繰りかえすことになる。
結局、座標P13で表される画素の輝度は明るい状態と暗い状態の間を周期的に変化する。ここで明るい場合と暗い場合の輝度差が極端に離れていると、その画素は周期的に点滅しているように感じられる。
さらに座標P13で表される画素の近傍でも同様のことが起きる。したがって周期的な模様が動いた箇所は部分的に点滅したように見え、視覚的に不快に感じられることがある。
このような現象は、中間画像D2を加算することによって、入力画像DINに含まれていた周期的な輝度変化がより大きくなることによって発生する。特に中間画像D2の画素値が大きな正の値或いは小さな負の値(符号が負で絶対値が大きい値)になっていると入力画像DINに含まれる輝度変化はより大きくなる。
したがって、特に中間画像D2の画素値が大きな正の値或いは小さな負の値になっている場合はその画素値を補正してやることで、入力画像DINに含まれた輝度変化が大きくなる程度を軽減し、上記のような点滅を抑えることが出来る。
中間画像D2は中間画像D1と画像D2Bを加算することで得られるので、中間画像D1或いは画像D2Bの画素値が大きな正の値或いは小さな負の値となる場合、中間画像D2の画素値も大きな正の値或いは小さな負の値になると考えられる。
ここで中間画像D1の画素値が大きな正の値或いは小さな負の値をとっている時、中間画像D1の画素値の絶対値は大きな値となる。
また、中間画像D1の画素値の絶対値が大きな値となっている場合、画像D2Bの画素値は大きな正の値又は小さな負の値になる可能性が高い。以下その説明を行う。
中間画像D1の画素値の絶対値が大きくなるのは中間画像D1の画素値が大きな正の値をとっているか、小さな負の値をとっている場合である。
まず、中間画像D1の画素値が大きな正の値をとっている場合について考える。画像D2Bは中間画像D1に対し、非線形処理手段2Aで非線形処理を行った後、高周波数成分画像生成手段2Bにおいてハイパスフィルタ処理を行うことで得られる。非線形処理手段2Aではゼロクロス点の近傍のみ中間画像D1を増幅させるので、基本的に中間画像D1が大きな正の値を持っていると非線形処理手段2Aの出力する画像D2Aも大きな正の値を持っていると考えられる。
また、ハイパスフィルタ処理は各画素値から各画素近傍の画素値の平均値を引く処理と等価であるので画素値が大きな正の値をとっている画素に関してはハイパスフィルタの出力値も大きな正の値となる可能性が高い。したがって、画像D2Aが大きな正の値を持っている場合、画像D2Aに対するハイパスフィルタ処理結果である画像D2Bも大きな正の値をもつ可能性が高い。
まとめると、中間画像D1の画素値が大きな正の値をとっている場合、画像D2Bの画素値も大きな正の値をとる可能性が高い。
次に、中間画像D1の画素値が小さな負の値をとっている場合について考える。画像D2Bは中間画像D1に対し、非線形処理手段2Aで非線形処理を行った後、高周波数成分画像生成手段2Bにおいてハイパスフィルタ処理を行うことで得られる。非線形処理手段2Aではゼロクロス点の近傍のみ中間画像D1を増幅させるので、基本的に中間画像D1が小さな負の値を持っていると非線形処理手段2Aの出力する画像D2Aも小さな負の値を持っていると考えられる。
また、ハイパスフィルタ処理は各画素値から各画素近傍の画素値の平均値を引く処理と等価であるので画素値が小さな負の値をとっている画素に関してはハイパスフィルタの出力値も小さな負の値となる可能性が高い。したがって、画像D2Aが小さな負の値を持っている場合、画像D2Aに対するハイパスフィルタ処理結果である画像D2Bも小さな負の値をもつ可能性が高い。
まとめると、中間画像D1の画素値が小さな負の値をとっている場合、画像D2Bの画素値も小さな負の値をとる可能性が高い。
以上で中間画像D1の画素値の絶対値が大きな値となっている場合、画像D2Bの画素値は大きな正の値又は小さな負の値になる可能性が高いことが説明された。
結局、中間画像D1の画素値の絶対値が大きな値となっている画素では中間画像D1、及び画像D2Bの画素値がともに大きな正の値或いはともに小さな負の値となり、両者を加算して得られる中間画像D2の画素値も大きな正の値或いは小さな負の値となる可能性が高く、入力画像DINに含まれる輝度変化もより大きくなると考えられる。したがって、中間画像D1の画素値の絶対値が大きな値となっている画素近傍で中間画像D2の振幅が小さくなるよう補正すれば、入力画像DINに含まれる輝度変化が大きくなる程度を軽減し、周期的な模様が動いた箇所に発生しうる部分的に点滅を低減し、視覚的な不快感を未然に防ぐことが可能になる。
本発明による画像処理装置では、先にも述べたように補正演算手段4Bにおいて中間画像D1の画素値の絶対値が大きい画素の分布密度の高い領域で中間画像D2の振幅が減衰するよう補正を加えるので上述のような処理が可能である。
以上から本発明による画像処理装置では、中間画像D2によって入力画像DINに含まれる輝度変化が大きくなる程度を軽減することができ、周期的な模様が動いた部分に発生しうる点滅を抑えることが可能になる。
なお、本発明で用いる中間画像処理手段は、入力画像の特定の周波数帯域近傍の周波数成分をもとに、入力画像に強調処理を行うための高周波数成分を計算するものであり、この目的を達成できるものであれば、上記に例示した処理以外のものを用いてもよい。
また、本発明による画像処理装置では、補正強度D3に所定の係数を乗ずるといった方法で補正量D4Aを求めたが、この際、補正強度D3に乗ずる係数を中間画像D2の画素値の符号が正の場合と負の場合で異なるものとすれば、輝度が明るくなる場合と暗くなる場合とで異なる程度に補正を加えることが可能になる。
また、水平方向比較手段3Ahで用いる閾値を画像D1hの画素値の符号が正の場合と負の場合で異なる値としたり、垂直方向比較手段3Avで用いる閾値を画像D1vの画素値の符号が正の場合と負の場合で異なる値としたり、比較手段3Aで用いる閾値を中間画像D1の画素値の符号が正の場合と負の場合で異なる値とすることでも、輝度が明るくなる場合と暗くなる場合とで、異なる程度に補正を加えることが可能になる。
また、上記の例では、中間画像D1を、入力画像DINの水平方向に関して周波数帯域を制限した画像D1hと、入力画像DINの垂直方向に関して周波数帯域を制限した画像D1vで構成し、画像D1h、D1vの各々について処理を行うこととしている。したがって入力画像の水平方向及び垂直方向のいずれの方向に関しても、本発明の効果が得られる。
また、上記の例では、比較手段3Aにおいて、中間画像D1の各画素の絶対値を予め定められた閾値と比較する際、画像D1h、D1vそれぞれについて行ったが、比較の方法はこれに留まらない。例えば図24に示すように、まず画像D1h、D1vを加算手段3Cで加算し、得られた画像の各画素値の絶対値を絶対値化手段3Dで求め、該絶対値D3Dを比較手段3Aで予め定められた閾値と比較してもよい。このとき得られる比較結果D3Aの値は、上記絶対値D3Dが、閾値より大きい場合は1に、そうでない場合は0になる。
この時、比較結果加算手段3Bは各画素を中心に所定の範囲内で比較結果D3Aの値を加算し、得られた値を加算結果D3Bとして出力すればよく、補正強度決定手段3は加算結果D3Bを補正強度D3として出力すればよい。
さらに、補正量決定手段4Aは、上記のようにして得られた補正強度D3に所定の係数を乗じることで補正量D4Aを求めればよい。
その他の方法として、補正強度D3が所定の大きさ未満では補正量D4Aがゼロであり、補正強度D3が所定の大きさ以上となる少なくとも一部の区間、例えばその全域において、補正量D4Aが所定の大きさ以上の値、例えば一定の値となるようにしてもよい。
図24の変形例では、図6に示した補正強度決定手段3のように、比較手段3A内部に、水平方向比較手段3Ahと垂直方向比較手段3Avの双方を設ける必要がなければ、比較結果加算手段3B内部に、水平方向比較結果加算手段3Bhと垂直方向比較結果加算手段3Bvの双方を設ける必要もない。また、図10に示した補正量決定手段4Aのように、水平方向補正量決定手段4Ahと垂直方向補正量決定手段4Avの双方を設ける必要もない。したがって、この変形例では、その回路規模を小さくすることが出来る。
また、比較手段3Aで用いる閾値を、画像D1h、D1vを加算手段3Cで加算して得られる画像の符号が正の場合と負の場合で異なる値としたり、補正量決定手段4Aで用いる係数を、中間画像D2の画素値の符号が正の場合と負の場合で異なる値としたりすることで、輝度が明るくなる場合と暗くなる場合とで異なる程度に補正を加えることが可能になる。
また、図6及び図24の例では比較結果D3Aでは、中間画像D1の画素値の絶対値が予め定められた閾値より大きい場合は1になり、そうでない場合は0になるとしたが、比較結果D3Aの例はこのように二値的なものに限らず、図25(A)に示すように、中間画像D1の画素値の絶対値が予め定められた閾値THD1aより小さい値となる少なくとも一部の区間で0になり、さらに少なくとも一部の区間(THD1aからTHD1bまで)で比較結果D3Aの値が(0からD3Abまで)連続的に変化するものとしてもよい。比較結果D3Aが二値的であると、中間画像D1の画素値の絶対値が予め定められた閾値程度の大きさである箇所に時間方向のノイズが重畳している場合に、動画のフレームによって、該当箇所が補正手段4によって補正されたりされなかったりすることが稀にある。この場合、該当箇所の輝度が明るくなったり暗くなったりすることを繰り返し視覚的に不愉快に感じることがある。一方、図25(A)に示すようにすれば時間方向に重畳したノイズの強度が比較結果D3Aの値が連続的に変化する区間(THD1aからTHD1bの範囲)を超えないものである限りは常に補正手段4によって中間画像D1が補正され、補正の程度が連続的に変化するので、上述した視覚的な不快感が発生しにくくなる。また、比較結果D3Aとして連続的でなくても、図25(B)に示すように多段階的に変化するもの(3値以上のもの)を用いても同様の効果が得られる。
また、比較結果D3Aに対してメディアンフィルタや収縮処理、膨張処理を組み合わせたモルフォロジー演算に代表される孤立点処理を行えば、比較手段3Aの演算精度を高めることも出来る。
このような処理を行う場合、比較結果D3Aを比較結果加算手段3Bで加算することで得られる、中間画像D1の各画素についての加算結果D3Bは、各画素とその周辺の領域を含む領域(近傍領域)内に絶対値の大きい画素がより多く存在するほどより大きな値となり、近傍領域内の画素の画素値の絶対値を重み付け加算する場合には、当該重み加算値が大きいほど大きな値となる。
実施の形態2.
図26は本発明の実施の形態2による画像処理装置の構成を示す。実施の形態2の画像処理装置も、実施の形態1による画像処理装置と同様、画像表示装置の一部として用いることができる。
図26において、図1と同じ符号で表される構成要素は、実施の形態1による画像処理装置と同様の動作を行う。図26の画像処理装置には、図1の補正強度決定手段3が設けられておらず、図1の補正手段4の代わりに補正手段40が設けられている。
以下、補正手段40について説明を行う。図27は補正手段40の構成例を示す。図示の補正手段40は分割手段40A、分割データ処理手段40B、及び合成手段40Cを備える。補正手段40の構成要素は中間画像D2の各画素値に対し以下のように動作し、補正画像D4を生成する。
分割手段40Aは中間画像D2の各画素に関して、画素値の符号を表す信号と画素値の絶対値を複数の値に分割した結果を出力する。図示の例では、中間画像D2の画素値の符号を表す符号データD40A0と、画素値の絶対値を分割して得た3つの値D(1)、D(2)、D(3)から成る分割データD40A1を出力する。
ここで3つの値D(1)、D(2)、D(3)への分割は例えば2つの閾値TH(1)、TH(2)を用いて行う。中間画像D2の画素値の絶対値をDとすると、3つの値D(1)、D(2)、D(3)は例えば以下のように表される。
なお、閾値TH(1)、TH(2)は、TH(1)≦TH(2)を満たすものとする。さらに閾値TH(1)、TH(2)の値は中間画像D2の画素値の符号が正の場合と負の場合で異なる値としてもよい。なお、3つの値D(1)、D(2)、D(3)を加算した結果はDと等しくなる。
分割データ処理手段40Bは、分割データD40A1を構成する3つの値D(1)、D(2)、D(3)のうち、少なくともひとつを減衰させて得られた3つの値Y(1)、Y(2)、Y(3)から成る分割データD40Bを出力する。図示の例では、減衰手段40B2、40B3がそれぞれ値D(2)、D(3)を減衰させた値Y(2)、Y(3)を出力する。
値D40B2、D40B3は例えば1未満の係数k(2)、k(3)を値D(2)、D(3)に乗じることで求められる。ここで乗ずる係数は、望ましい画像が得られるように、実験的に定められ、符号D40A0が正の場合と負の場合で異なる値としてもよい。
合成手段40Cは、各画素について、分割データD40Bすなわち値Y(1)、Y(2)、Y(3)を加算した結果に符号データD40A0で表される符号を付加した値を計算し、得られた値を画素値とする補正画像D4を出力する。
図28(A)及び(B)は補正手段40の効果を説明するための図である。図28(A)は補正手段40に入力される中間画像D2を表しており、図28(B)はこの時得られる補正画像D4を表している。なお、図示の例では値D(2)、D3(3)ともに減衰させることとし、また値D(3)に対する減衰の程度を値D(2)に対する減衰の程度よりも大きくしている。
図から明らかなように、補正手段40では中間画像D2の画素値がTH(1)より大きい場合と−TH(1)より小さい場合に関してその振幅が減衰している。要するに補正手段40では、中間画像D2の画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えている。
したがって補正手段40によっても、中間画像D2によって入力画像DINに含まれる輝度変化が大きくなる程度を軽減することができ、周期的な模様が動いた部分に発生しうる点滅を抑えることが可能になる。
なお、本発明による画像処理装置では、分割手段40Aで用いる閾値や減衰手段40B2、40B3で乗ずる係数を中間画像D2の画素値の符号に応じて異なるものとすれば、輝度が明るくなる場合と暗くなる場合とで異なる程度に補正を加えることが可能になる。
上記の例では値D(2)、D(3)の両方を減衰することとしたが、どちらか一方のみを減衰させてもよい。例えば、値D(3)のみ減衰することとし、中間画像D2の画素値がTH(2)より大きい場合と−TH(2)より小さい場合に関してその振幅を減衰させることが出来る。また、値D(2)のみ減衰することとし、中間画像D2の画素値がTH(1)より大きくてTH(2)以下の場合と−TH(1)より小さくて、−TH(2)以上の場合に関してその振幅を減衰させることが出来る。
さらに上記の例では、中間画像D2の画素値の絶対値を3つの値に分割したが、分割する個数は3に限られるものではく、n個(nは2以上の整数)の値に分割してもよい。中間画像D2の画素値の絶対値Dをn個の値D(j)(j=1〜n)に分割する方法は、n−1個の閾値TH(j)(j=1〜n−1)を用いて例えば以下のように表される。すなわち、D(1)は
と表され、D(n)は
と表され、上記以外のD(j)、すなわちjが2≦j≦n−1の範囲に含まれる場合は
と表される。ここで閾値TH(j)はTH(j)≦TH(j+1)を満たすものとする。さらに閾値TH(j)は中間画像D2の画素値が正の場合と負の場合で異なる値としてもよい。なお、以上のようにして得られたD(j)を全て加算するとDと等しくなる。
この時、分割データ処理手段40Bは、上記のようにして得られたn個の値D(j)から成る分割データD40A1に対して、D(2)からD(n)の値の少なくともひとつを減衰させて得たn個の値Y(j)から成る分割データD40Bを出力する。減衰は例えば1未満の係数をD(j)に乗じることで行われる。減衰の程度は、例えば、より大きなjに対してより大きくされる。
そして合成手段40Cは分割データD40Bを構成するn個の値Y(j)を加算して得た値に対し、符号データD40A0で表される符号を付加して出力すればよい。
なお、減衰の程度は中間画像D2の画素値の符号が正の場合と負の場合で異なるものとしてもよい。例えば値D(j)を減衰するために所定の係数k(j)を乗じるとした場合、k(j)の値を中間画像D2の画素値の符号が正の場合と負の場合で異なるものとしてもよい。
さらに上記の例では、値D(1)を減衰させていないがその目的は以下の通りである。
補正手段40では中間画像D2の画素値が大きな正の値や小さな負の値をとっている箇所でその値が減衰するよう補正を加えることが目的であり、中間画像D2の画素値が小さな正の値や大きな負の値をとっている箇所では特に補正を加える必要はない。上記の例では、少なくとも値D(1)が減衰されないようにしているので、画素値がTH(1)より小さい正の値になる場合と、−TH(1)より大きな負の値になる場合は、その値が減衰しない。言い換えると、中間画像D2の画素値が小さな正の値や大きな負の値をとっている箇所に不要な補正がかかることがない。
また、上記の例では、中間画像D1を、入力画像DINの水平方向に関して周波数帯域を制限した画像D1hと、入力画像DINの垂直方向に関して周波数帯域を制限した画像D1vで構成し、画像D1h、D1vの各々について処理を行うこととしている。したがって入力画像の水平方向及び垂直方向のいずれの方向に関しても、本発明の効果が得られる。
実施の形態3.
図29は本発明の実施の形態3による画像処理装置の構成を示す。実施の形態3の画像処理装置も、実施の形態1、2による画像処理装置と同様、画像表示装置の一部として用いることができる。
図29において、図1と同じ符号で表される構成要素は、実施の形態1による画像処理装置と同様の動作を行う。図29の画像処理装置には、図1の補正強度決定手段3及び補正手段4が設けられておらず、図1の中間画像処理手段2及び加算手段5の代わりに中間画像処理手段20及び加算手段50が設けられている。以下、加算手段50、及び中間画像処理手段20について述べる。
加算手段50は入力画像DINに後述の方法で生成される中間画像D2を加算し、加算した結果を出力画像DOUTとして出力する。
図30は中間画像処理手段20の構成例を示す。図30において、図3と同じ符号で表される構成要素は実施の形態1と同様の動作を行うのでその説明は省略する。図30の中間画像処理手段20は、図3の中間画像処理手段2と概して同じであるが、以下の点で異なる。即ち、補正手段2C1、2C2が付加され、図3の加算手段2Cの代わりに、加算手段2Dが設けられている。以下、補正手段2C1、2C2、及び加算手段2Dについて説明する。
補正手段2C1は補正手段2C1h、2C1vを有する。補正手段2C1h、2C1vの各々は、実施の形態2に関し、図27を参照して説明した補正手段40と同様に構成されている。
補正手段2C1hは、実施の形態2における補正手段40が中間画像D2に対して行った補正と同様の補正を画像D1hに対して行う。そしてその結果得られた画像を画像D2C1hとして出力する。
補正手段2C1vは、実施の形態2における補正手段40が中間画像D2に対して行った補正と同様の補正を画像D1vに対して行う。そしてその結果得られた画像を画像D2C1vとして出力する。
補正手段2C1からは画像D2C1h、D2C1vから成る画像D2C1が出力される。
補正手段2C2は補正手段2C2h、2C2vを有する。補正手段2C2h、2C2vの各々も、実施の形態2に関し、図27を参照して説明した補正手段40と同様に構成されている。
補正手段2C2hは、実施の形態2における補正手段40が中間画像D2に対して行った補正と同様の補正を画像D2Bhに対して行う。そしてその結果得られた画像を画像D2C2hとして出力する。
補正手段2C2vは、実施の形態2における補正手段40が中間画像D2に対して行った補正と同様の補正を画像D2Bvに対して行う。そしてその結果得られた画像を画像D2C2vとして出力する。
補正手段2C2からは画像D2C2h、D2C2vから成る画像D2C2が出力される。
加算手段2Dは画像D2C1、D2C2を加算する。
ここで画像D2C1は画像D2C1h、D2C1vから成り、画像D2C2は画像D2C2h、D2C2vから成るので、画像D2C1、D2C2を加算するとは画像D2C1h、D2C1v、D2C2h、D2C2vを加算することを意味する。なお、ここでの加算は単純加算であってもよいし重み付け加算であってもよい。
補正手段2C1hでは、画像D1hの画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2C1hを生成することができ、補正手段2C1vでは、画像D1vの画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2C1vを生成することができ、補正手段2C2hでは、画像D2Bhの画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2C2hを生成することができ、補正手段2C2vでは、画像D2Bvの画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2C2vを生成することができる。
ここで仮に補正手段2C1、2C2による補正が加えられなかった場合を考える。この場合、中間画像D2は画像D1h、D1v、D2Bh、D2Bvを加算して得られることになる。したがって、画像D1h、D1v、D2Bh、D2Bvの画素値が大きな正の値や小さな負の値をとっている箇所では中間画像D2の画素値も大きな正の値や小さな負の値をとりやすいと考えられる。
一方、先に述べたように、補正手段2C1hでは、画像D1hの画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2C1hを生成することができ、補正手段2C1vでは、画像D1vの画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2C1vを生成することができ、補正手段2C2hでは、画像D2Bhの画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2C2hを生成することができ、補正手段2C2vでは、画像D2Bvの画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2C2vを生成することができるので、それらを加算して得られる中間画像D2は、画像D1h、D1v、D2Bh、D2Bvの画素値が大きな正の値や小さな負の値をとっている箇所、すなわち、中間画像D2の画素値が大きな正の値や小さな負の値をとりやすい箇所で、その振幅が減衰するよう補正が加えられたものとなる。したがって、中間画像D2によって入力画像DINに含まれる輝度変化が大きくなる程度を軽減することができ、周期的な模様が動いた部分に発生しうる点滅を抑えることが可能になる。
なお実施の形態2における補正手段40に対する変形は補正手段2C1h、2C1v、2C2h、2C2vに対しても適用可能であり、変形による効果も実施の形態2について述べたのと同様である。
また本発明による画像処理装置の効果は、補正手段2C1h、2C1v、2C2h、2C2vの全てを備えることで最大となるが、補正手段2C1h、2C1v、2C2h、2C2vの少なくとも一つを備えることでも効果を得ることは出来る。
また、上記の例では、中間画像D1を、入力画像DINの水平方向に関して周波数帯域を制限した画像D1hと、入力画像DINの垂直方向に関して周波数帯域を制限した画像D1vで構成し、画像D1h、D1vの各々について処理を行うこととしている。したがって入力画像の水平方向及び垂直方向のいずれの方向に関しても、本発明の効果が得られる。
実施の形態4.
実施の形態4による画像処理装置の全体的構成は図29に示す通りであり、実施の形態4による画像処理装置も、実施の形態1〜3の画像処理装置と同様、画像表示装置の一部として用いることができる。実施の形態4による画像処理装置を実施の形態3による画像処理装置と比較した場合、中間画像処理手段20の構成及び動作が異なる。以下、実施の形態4における中間画像処理手段20について説明する。
実施の形態4における中間画像処理手段20は、例えば図31に示すように、非線形処理手段2A、高周波数成分画像生成手段2B、加算手段2E1、補正手段2F1、加算手段2E2、補正手段2F2、及び加算手段2Gを有する。
図31において、図3或いは図30と同じ符号で表される構成要素は、実施の形態2或いは実施の形態3による画像処理装置と同様の動作を行う。図31の中間画像処理手段20には、図30の補正手段2C1、2C2が設けられておらず、代わりに加算手段2E1、2E2、補正手段2F1、2F2が設けられている。以下では、実施の形態1或いは実施の形態3とは異なる加算手段2E1、2E2、補正手段2F1、2F2、加算手段2Gについて述べる。
加算手段2E1は、画像D1h、D1vを加算した結果を画像D2E1として出力する。ここで加算の方法は単純加算でも加重加算でもよい。
加算手段2E2は、画像D2Bh、D2Bvを加算した結果を画像D2E2として出力する。ここで加算の方法は単純加算でも加重加算でもよい。
補正手段2F1、2F2の各々は、実施の形態2に関し、図27を参照して説明した補正手段40と同様に構成されている。
補正手段2F1は、実施の形態2における補正手段40が中間画像D2に対して行った補正と同様の補正を画像D2E1に対して行う。そしてその結果得られた画像を画像D2F1として出力する。
補正手段2F2は、実施の形態2における補正手段40が中間画像D2に対して行った補正と同様の補正を画像D2E2に対して行う。そしてその結果得られた画像を画像D2F2として出力する。
加算手段2Gは、画像D2F1、D2F2を加算した結果を中間画像D2として出力する。ここで加算の方法は単純加算でも加重加算でもよい。
実施の形態4による画像処理装置の、補正手段2F1では、画像D2E1の画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2F1を生成することができ、補正手段2F2では、画像D2E2の画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正を加えた画像D2F2を生成することができる。
ここで仮に補正手段2F1、2F2による補正が加えられなかった場合を考える。この場合、中間画像D2は画像D2E1、D2E2を加算して得られることになる。したがって画像D2E1や画像D2E2の画素値が大きな正の値や小さな負の値をとっている箇所では中間画像D2の画素値も大きな正の値や小さな負の値をとりやすいと考えられる。
一方、先に述べたように、補正手段2F1では、画像D2E1に対し、その画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正が加えられ、補正手段2F2では、画像D2E2に対し、その画素値が大きな正の値や小さな負の値をとっている箇所でその振幅が減衰するよう補正が加えられるので、それらを加算して得られる中間画像D2は、その画素値が大きな正の値や小さな負の値になる箇所では、その振幅が減衰するよう補正が加えられたものとなる。したがって、中間画像D2によって入力画像DINに含まれる輝度変化が大きくなる程度を軽減することができ、周期的な模様が動いた部分に発生しうる点滅を抑えることが可能になる。
なお実施の形態2における補正手段40に対する変形は補正手段2F1、2F2に対しても適用可能であり、変形による効果も実施の形態2について述べたのと同様である。
また本発明による画像処理装置の効果は、補正手段2F1、2F2の双方を備えることで最大となるが、補正手段2F1、2F2の少なくとも一つを備えることでも効果を得ることは出来る。
また、上記の例では、中間画像D1を、入力画像DINの水平方向に関して周波数帯域を制限した画像D1hと、入力画像DINの垂直方向に関して周波数帯域を制限した画像D1vで構成し、画像D1h、D1vの各々について処理を行うこととしている。したがって入力画像の水平方向及び垂直方向のいずれの方向に関しても、本発明の効果が得られる。
実施の形態5.
図32は本発明の実施の形態5による画像処理方法を示す。図示の画像処理方法は、中間画像生成ステップST1、中間画像処理ステップST2、補正強度決定ステップST3、補正ステップST4及び加算ステップST5により実現される。
以下、各ステップの詳細について説明する。
中間画像生成ステップST1は、例えば図33に示すように、高周波数成分画像生成ステップST1A、及び低周波数成分画像生成ステップST1Bを含む。
高周波数成分画像生成ステップST1Aは、水平方向高周波数成分画像生成ステップST1Ah、及び垂直方向高周波数成分画像生成ステップST1Avを含み、低周波数成分画像生成ステップST1Bは、水平方向低周波数成分画像生成ステップST1Bh、及び垂直方向高周波巣成分画像ST1Bvを含む。
高周波数成分画像生成ステップST1Aでは、図示しない画像入力ステップにて入力された入力画像DINに対し、以下のような処理が行われる。まず、水平方向高周波数成分画像生成ステップST1Ahでは、水平方向のハイパスフィルタ処理によって、入力画像DINから水平方向の高周波数成分を取り出した画像D1Ahを生成する。垂直方向高周波数成分画像生成ステップST1Avでは、垂直方向のハイパスフィルタ処理によって、入力画像DINから垂直方向の高周波数成分を取り出した画像D1Avを生成する。すなわち、高周波数成分画像生成ステップST1Aは、入力画像DINから、画像D1Ah及び画像D1Avから成る画像D1Aを生成する。この動作は高周波数成分画像生成手段1Aと同等である。
低周波数成分画像生成ステップST1Bでは、画像D1Aに対し、以下のような処理が行われる。まず、水平方向低周波数成分画像生成ステップST1Bhでは、水平方向のローパスフィルタ処理によって、画像D1Ahから水平方向の低周波数成分を取り出した画像D1Bhを生成する。垂直方向低周波数成分画像生成ステップSTBvでは、垂直方向のローパスフィルタ処理によって、画像D1Avから垂直方向の低周波数成分を取り出した画像D1Bvを生成する。すなわち、低周波数成分画像生成ステップST1Bは、画像D1Aから、画像D1Bh及び画像D1Bvから成る画像D1Bを生成する。この動作は低周波数成分画像生成手段1Bと同等である。
以上が中間画像生成ステップST1の動作であり、中間画像生成ステップST1は画像D1Bhを画像D1hとし、画像D1Bvを画像D1vとし、画像D1h及び画像D1vから成る第1の中間画像D1を出力する。以上の動作は中間画像生成手段1と同等である。
中間画像処理ステップST2は、例えば図34に示すように、非線形処理ステップST2A、高周波数成分画像生成ステップST2B、及び加算ステップST2Cを含む。
非線形処理ステップST2Aは、水平方向非線形処理ステップST2Ah、及び垂直方向非線形処理ステップST2Avを含み、高周波数成分画像生成ステップST2Bは、水平方向高周波数成分画像生成ステップST2Bh、及び垂直方向高周波数成分画像生成ステップST2Bvを含む。
水平方向非線形処理ステップST2Ahは、例えば図35に示すように、ゼロクロス判定ステップST311h、及び信号増幅ステップST312hを含み、垂直方向非線形処理ステップST2Avは、例えば図36に示すように、ゼロクロス判定ステップST311v、及び信号増幅ステップST312vを含む。
非線形処理ステップST2Aでは第1の中間画像D1に対し、以下のような処理を行う。
まず、水平方向非線形処理ステップST2Ahでは、図35に示すフローに従った処理で画像D1hから画像D2Ahを生成する。図35に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップST311hでは、画像D1hにおける画素値の変化を水平方向に沿って確認する。そして画素値が正の値から負の値或いは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の左右に位置する画素を信号増幅ステップST312hに通知する。信号増幅ステップST312hでは画像D1hについて、ゼロクロス点の左右に位置すると通知された画素の画素値を増幅し、その画像を画像D2Ahとして出力する。すなわち、水平方向非線形処理ステップST2Ahは、画像D1hに対し、水平方向非線形処理手段2Ahと同様の処理を行い、画像D2Ahを生成する。
次に、垂直方向非線形処理ステップST2Avでは、図36に示すフローに従った処理で画像D1vから画像D2Avを生成する。図36に示すフローでの処理は以下の通りである。まず、ゼロクロス判定ステップST311vでは、画像D1vにおける画素値の変化を垂直方向に沿って確認する。そして画素値が正の値から負の値或いは負の値から正の値へと変化する箇所をゼロクロス点として捉え、ゼロクロス点の上下に位置する画素を信号増幅ステップST312vに通知する。信号増幅ステップST312vでは画像D1vについて、ゼロクロス点の上下に位置すると通知された画素の画素値を増幅し、その画像を画像D2Avとして出力する。すなわち、垂直方向非線形処理ステップST2Avは、画像D1vに対し、垂直方向非線形処理手段2Avと同様の処理を行い、画像D2Avを生成する。
以上が非線形処理ステップST2Aの動作であり、非線形処理ステップST2Aは画像D2Ah及び画像D2Avから成る画像D2Aを生成する。その動作は非線形処理手段2Aと同等である。
次に、高周波数成分画像生成ステップST2Bでは画像D2Aに対し、以下の様な処理を行う。
まず、水平方向高周波数成分画像生成ステップST2Bhでは、画像D2Ahに対し水平方向のハイパスフィルタ処理を行った画像D2Bhを生成する。すなわち、水平方向高周波数成分画像生成ステップST2Bhは、水平方向高周波数成分画像生成手段2Bhと同様の処理を行う。
次に、垂直方向高周波数成分画像生成ステップST2Bvでは、画像D2Avに対し垂直方向のハイパスフィルタ処理を行った画像D2Bvを生成する。すなわち、垂直方向高周波数成分画像生成ステップST2Bvは、垂直方向高周波数成分画像生成手段2Bvと同様の処理を行う。
以上が高周波数成分画像生成ステップST2Bの動作であり、高周波数成分画像生成ステップST2Bは画像D2Bh及び画像D2Bvから成る画像D2Bを生成する。その動作は高周波数成分画像生成手段2Bと同等である。
加算ステップST2Cは画像D2Bと第1の中間画像D1を加算して画像D2Cを生成する。この際、画像D2BとD1の加算は重み付け加算でもよい。この動作は加算手段2Cと同等である。
以上が中間画像処理ステップST2の動作であり、中間画像処理ステップST2は画像D2Cを第2の中間画像D2として出力する。この動作は中間画像処理手段2と同等である。
補正強度決定ステップST3は、例えば図37に示すように比較ステップST3A、及び比較結果加算ステップST3Bを含む。比較ステップST3Aは水平方向比較ステップST3Ah、及び垂直方向比較ステップST3Avを含み、比較結果加算ステップST3Bは水平方向比較結果加算ステップST3Bh、及び垂直方向比較結果加算ステップST3Bvを含む。
比較ステップST3Aは、中間画像D1の各画素について、画素値の絶対値を予め定められた閾値と比較し、その結果を比較結果D3Aとして出力する。すなわち比較結果D3Aとして得られる出力値は、中間画像D1の画素値の絶対値が予め定められた閾値より大きい場合は1になり、そうでない場合は0になる。なお、中間画像D1は画像D1h、D1vから成るので、閾値との比較は画像D1h、D1vのそれぞれについて行う。すなわち比較ステップST3Aは画像D1hに対して後述の処理を行う水平方向比較ステップST3Ahと、画像D1vに対し後述の処理を行う垂直方向比較ステップST3Avを含み、比較結果D3Aは、水平方向比較ステップST3Ahが出力する比較結果D3Ahと、垂直方向比較ステップST3Avが出力する比較結果D3Avから成る。以下、水平方向比較ステップST3Ah、及び垂直方向比較ステップST3Avの動作についてさらに説明する。
水平方向比較ステップST3Ahは、画像D1hの各画素について、画素値の絶対値を予め定められた閾値と比較し、その結果を比較結果D3Ahとして出力する。比較結果D3Ahとして得られる出力値は、画像D1hの画素値の絶対値が予め定められた閾値より大きい場合は1になり、そうでない場合は0になる。ここで閾値は画像D1hの画素値の符号が正の場合と負の場合で異なる値を用いてもよい。
垂直方向比較ステップST3Avは、画像D1vの各画素について、画素値の絶対値を予め定められた閾値と比較し、その結果を比較結果D3Avとして出力する。比較結果D3Avとして得られる出力値は、画像D1vの画素値の絶対値が予め定められた閾値より大きい場合は1になり、そうでない場合は0になる。ここで閾値は画像D1vの画素値の符号が正の場合と負の場合で異なる値を用いてもよい。
以上が比較ステップST3Aの動作であり、この動作は比較手段3Aと同等である。
比較結果加算ステップST3Bは比較結果D3Aとして得られる出力値を複数画素分加算し、その結果を加算結果D3Bとして出力する。この加算においては、各画素(注目画素)について、当該注目画素を中心とする所定の範囲内に位置する複数の画素についての比較結果D3Aとして得られる出力値が加算される。この加算処理は比較結果D3Ah、D3Avのそれぞれについて行う。すなわち比較結果加算ステップST3Bは、比較結果D3Ahに対し後述の処理を行う水平方向比較結果加算ステップST3Bhと、比較結果D3Avに対し後述の処理を行う垂直方向比較結果加算ステップST3Bvを含み、加算結果D3Bは、水平方向比較結果加算ステップST3Bhが出力する加算結果D3Bhと、垂直方向比較結果加算ステップST3Bvが出力する加算結果D3Bvから成る。
水平方向比較結果加算ステップST3Bhは水平方向比較結果加算手段3Bhと同様の方法で加算結果D3Bhを計算する。すなわち、各画素についての比較結果D3Ahについて、その画素を中心とした所定の範囲内に存在する画素の画素値を加算し、その結果を加算結果D3Bhとする。
垂直方向比較結果加算ステップST3Bvは垂直方向比較結果加算手段3Bvと同様の方法で加算結果D3Bvを計算する。すなわち、各画素についての比較結果D3Avについて、その画素を中心とした所定の範囲内に存在する画素の画素値を加算し、その結果を加算結果D3Bvとする。
上記のうち、水平方向比較ステップST3Ahと水平方向比較結果加算ステップST3Bhとで、画素毎に水平方向加算結果D3Bhを求める水平方向補正強度決定ステップST3hが構成され、垂直方向比較ステップST3Avと垂直方向比較結果加算ステップST3Bvとで、画素毎に垂直方向加算結果D3Bvを求める垂直方向補正強度決定ステップST3vが構成される。
水平方向加算結果D3Bhと垂直方向加算結果D3Bvとから成る加算結果D3Bは、画素毎の補正強度D3として出力される。
補正強度決定ステップST3は、加算結果D3Bhに相当する水平方向補正強度D3h及び加算結果D3Bvに相当する垂直方向補正強度D3vから成る補正強度D3を出力する。この動作は補正強度決定手段3と同等である。
補正ステップST4について説明する。図示の補正ステップST4は、例えば図38に示すように、補正量決定ステップST4Aと、補正演算ステップST4Bとを含む。
補正量決定ステップST4Aは補正量D4Aを決定する。補正量D4Aの決定は補正量決定手段4Aと同様に行われる。補正量決定ステップST4Aは、例えば図39に示すように、水平方向補正量決定ステップST4Ah、垂直方向補正量決定ステップST4Av、加算ステップST4Apを含む。以下、補正量決定ステップST4Aの動作の詳細を述べる。
水平方向補正量決定ステップST4Ahは水平方向補正量D4Ahを求める。ここで水平方向補正量D4Ahは水平方向補正量決定手段4Ahと同様に行われ、例えば水平方向補正強度D3hに所定の値を乗じることで求められる。ここで補正強度D3hに乗じる所定の値は中間画像D2の画素値が正の場合と負の場合で異なる値としてもよい。
垂直方向補正量決定ステップST4Avは垂直方向補正量D4Avを求める。ここで垂直方向補正量D4Avは垂直方向補正量決定手段4Avと同様に行われ、例えば垂直方向補正強度D3vに所定の値を乗じることで求められる。ここで補正強度D3vに乗じる所定の値は中間画像D2の画素値が正の場合と負の場合で異なる値としてもよい。
加算ステップST4Apは水平方向補正量D4Ahと垂直方向補正量D4Avを加算する。そして加算した結果が補正量D4Aとして補正量決定ステップSTD4Aから出力される。
以上が補正量決定ステップST4Aの動作であり、この動作は補正量決定手段4Aと同等である。
補正演算ステップST4Bは中間画像D1の画素値を補正量D4Aに基づいて補正する。ここで補正は補正量D4Aの絶対値だけ中間画像D2の画素値の絶対値が小さくなるように行う。すなわち補正演算ステップST4Bの動作は、補正演算手段4Bと同等である。
以上が補正ステップST4の動作であり、この動作は補正手段4と同等である。
加算ステップST5について説明する。
加算ステップST5は、入力画像DINと補正画像D4を加算する。加算ステップST5による加算結果が出力画像DOUTとして出力される。
以上が加算ステップST5の動作であり、この動作は加算手段5と同等である。
以上が本発明の実施の形態5による画像処理方法の動作であり、その動作は実施の形態1による画像処理装置と同等である。したがって本発明の実施の形態5による画像処理方法では、実施の形態1による画像処理装置と同じ効果を得ることが出来る。また、本発明の実施の形態5によって得られた出力画像DOUTを画像表示装置に表示させることも可能である。
また、上記の例では、比較ステップST3Aにおいて、中間画像D1の各画素の絶対値を予め定められた閾値と比較する際、画像D1h、D1vそれぞれについて行ったが、比較の方法はこれに留まらない。例えば図40に示すように、まず画像D1h、D1vを加算し(ST3C)、得られた画像の各画素値の絶対値D3Dを求め(ST3D)、求めた絶対値D3Dを予め定められた閾値と比較してもよい。このとき得られる比較結果D3Aの値は、上記絶対値D3Dが、閾値より大きい場合は1に、そうでない場合は0になる。
図40に示される比較ステップST3Aの動作は、図24に示される比較手段3Aと同等である。
図40に示される比較ステップST3Aによる処理が行われる場合、比較結果加算ステップST3Bは各画素を中心に所定の範囲内で比較結果D3Aの値を加算した値を加算結果D3Bとして出力すればよく、補正強度決定ステップST3は加算結果D3Bを補正強度D3として出力すればよい。
さらに、補正量決定ステップST4Aは、上記のようにして得られた補正強度D3に所定の係数を乗じることで補正量D4Aを求めればよい。
ここで、比較ステップST3Aで用いる閾値を、画像D1h、D1vを加算ステップST3Cで加算して得られる画像の符号が正の場合と負の場合で異なる値としたり、補正量決定ステップST4Aで用いる係数を、中間画像D2の画素値の符号が正の場合と負の場合で異なる値としたりすることで、輝度が明るくなる場合と暗くなる場合とで異なる程度に補正を加えることが可能になる。
実施の形態6.
図41は本発明の実施の形態6による画像処理方法を示す。図示の画像処理方法は、中間画像生成ステップST1、中間画像処理ステップST2、補正強度決定ステップST3、補正ステップST40及び加算ステップST5により実現される。
図41において、図32と同じ符号で表されるステップは、実施の形態5による画像処理方法と同様の動作を行う。図41の画像処理方法には、図32の補正強度決定ステップST3が設けられておらず、図32の補正ステップST4の代わりに補正ステップST40が設けられている。以下では補正ステップST40についてのみ説明を行い、その他のステップについての説明は省略する。
実施の形態6の補正ステップST40は、例えば図42に示すように、分割ステップST40A、分割データ処理ステップST40B、及び合成ステップST40Cを含む。補正ステップST40は中間画像D2の各画素値に対し以下のように動作し、補正画像D4を生成する。
分割ステップST40Aは中間画像D2の各画素を実施の形態2の分割手段40Aと同様の方法で分割した結果を出力する。例えば中間画像D2の画素値の符号を表す符号データD40A0と、画素値の絶対値を分割して得た3つの値D(1)、D(2)、D(3)から成る分割データD40A1を出力する。
分割データ処理ステップST40Bは、分割データD40A1を構成する3つの値D(1)、D(2)、D(3)のうち、少なくともひとつを減衰させて得られた3つの値Y(1)、Y(2)、Y(3)から成る分割データD40B、例えば、値D(1)と同じ値をもつ値Y(1)、並びに値D(2)、D(3)を減衰手段40B2、40B3と同様の方法で減衰させた値Y(2)、Y(3)から成る分割データD40Bを出力する。
合成ステップST40Cは、各画素について、分割データD40Bを構成する値Y(1)、Y(2)、Y(3)を加算した結果に符号データD40A0で表される符号を付加した値を計算し、得られた値を画素値とする補正画像D4を出力する。
以上が補正ステップST40の動作であり、この動作は補正手段40と同等である。以上の説明から明らかなように実施の形態6による画像処理方法は実施の形態2による画像処理装置と同様の動作を行うので、実施の形態2による画像処理装置と同様の効果が得られる。また、本発明の実施の形態6によって得られた出力画像を画像表示装置に表示させることも可能である。
なお、上記の例では分割ステップST40Aで、中間画像D2の画素値の絶対値を3つの値に分割したが、分割する個数は3に限られるものではく、n個(nは2以上の整数)の値に分割してもよい。中間画像D2の画素値の絶対値Dをn個の値D(j)(j=1〜n)に分割する方法は、実施の形態2と同様である。そして、分割データ処理ステップは、上記のようにして得られたn個の値D(j)のうち、D(2)からD(n)の値の少なくともひとつを減衰させて得たn個の値Y(j)を生成し、合成ステップはn個の値Y(j)を加算して得られた値に中間画像D2の画素値の符号を付加して得られた値を補正画像D4の画素値として出力すればよい。
実施の形態7.
図43は本発明の実施の形態7による画像処理方法を示す。実施の形態7の画像処理方法で得られた画像も画像表示装置に表示させることができる。
図43において、図32と同じ符号で表されるステップは、実施の形態5による画像処理方法と同様の動作を行う。図43の画像処理方法には、図32の補正強度決定ステップST3及び補正ステップST4が設けられておらず、図32の中間画像処理ステップST2及び加算ステップST5の代わりに中間画像処理ステップST20及び加算ステップST50が設けられている。以下、加算ステップST50、及び中間画像処理ステップST20について述べる。
加算ステップST50は入力画像DINに後述の方法で生成される中間画像D2を加算し、加算した結果を出力画像DOUTとして出力する。
中間画像処理ステップST20は、例えば図44に示すように、非線形処理ステップST2A、補正ステップST2C1、補正ステップST2C2、及び加算ステップST2Dを含む。図44で、図34と同じ符号で表されるステップは、実施の形態5と同様の処理を行うものであるので、その説明を省略する。以下、補正ステップST2C1、2C2、及び加算ステップST2Dについて説明する。
補正ステップST2C1は補正ステップST2C1h、2C1vを有する。補正ステップST2C1h、ST2C1vの各々は、実施の形態6に関し、図42を参照して説明した補正ステップST40と同様に構成されている。
補正ステップST2C1hは、実施の形態6における補正ステップST40が中間画像D2に対して行った補正と同様の補正を画像D1hに対して行う。そしてその結果得られた画像を画像D2C1hとして出力する。
補正ステップST2C1vは、実施の形態6における補正ステップST40が中間画像D2に対して行った補正と同様の補正を画像D1vに対して行う。そしてその結果得られた画像を画像D2C1vとして出力する。
補正ステップST2C1からは画像D2C1h、D2C1vから成る画像D2C1が出力される。
補正ステップST2C2は補正ステップST2C2h、2C2vを有する。補正ステップST2C2h、ST2C2vの各々も、実施の形態6に関し、図42を参照して説明した補正ステップST40と同様に構成されている。
補正ステップST2C2hは、実施の形態6における補正ステップST40が中間画像D2に対して行った補正と同様の補正を画像D2Bhに対して行う。そしてその結果得られた画像を画像D2C2hとして出力する。
補正ステップST2C2vは、実施の形態6における補正ステップST40が中間画像D2に対して行った補正と同様の補正を画像D2Bvに対して行う。そしてその結果得られた画像を画像D2C2vとして出力する。
補正ステップST2C2からは画像D2C2h、D2C2vから成る画像D2C2が出力される。
加算ステップST2Dは画像D2C1、D2C2を加算する。
ここで画像D2C1は画像D2C1h、D2C1vから成り、画像D2C2は画像D2C2h、D2C2vから成るので、画像D2C1、D2C2を加算するとは画像D2C1h、D2C1v、D2C2h、D2C2vを加算することを意味する。なお、ここでの加算は単純加算であってもよいし重み付け加算であってもよい。
以上が実施の形態7による画像処理方法の動作に対する説明である。実施の形態7による画像処理方法は実施の形態3による画像処理装置と同様の動作を行うので、実施の形態3による画像処理装置と同様の作用、効果を持つ。
なお、本発明による画像処理装置の効果は、補正ステップST2C1h、ST2C1v、ST2C2h、ST2C2vの全てを備えることで最大となるが、補正ステップST2C1h、ST2C1v、ST2C2h、ST2C2vの少なくとも一つを備えることでも効果を得ることは出来る。
実施の形態8.
実施の形態8による画像処理方法の全体的構成は図43に示す通りであり、実施の形態8による画像処理方法によって得られる画像も画像表示装置に表示させることができる。実施の形態8による画像処理方法を実施の形態7による画像処理装置と比較した場合、中間画像処理ステップST20の構成及び動作が異なる。以下、実施の形態8における中間画像処理ステップST20について説明する。
実施の形態8における中間画像処理ステップST20は、例えば図45に示すように、非線形処理ステップST2A、高周波数成分画像生成ステップST2B、加算ステップST2E1、補正ステップST2F1、加算ステップST2E2、補正ステップST2F2、及び加算ステップST2Gを含む。
図45において、図34或いは図44と同じ符号で表されるステップは、実施の形態5或いは実施の形態7による画像処理方法と同様の動作を行う。図31の中間画像処理ステップST20には、図44の補正ステップST2C1、2C2が設けられておらず、代わりに加算ステップST2E1、2E2、補正ステップST2F1、2F2が設けられている。以下では、実施の形態5或いは実施の形態7とは異なる加算ステップST2E1、2E2、補正ステップST2F1、2F2、及び加算ステップST2Gについて述べる。
加算ステップST2E1は、画像D1h、D1vを加算した結果を画像D2E1として出力する。ここで加算の方法は単純加算でも加重加算でもよい。
加算ステップST2E2は、画像D2Bh、D2Bvを加算した結果を画像D2E2として出力する。ここで加算の方法は単純加算でも加重加算でもよい。
補正ステップST2F1、ST2F2の各々は、実施の形態6に関し、図42を参照して説明した補正ステップST40と同様に構成されている。
補正ステップST2F1は、実施の形態6における補正ステップST40が中間画像D2に対して行った補正と同様の補正を画像D2E1に対して行う。そしてその結果得られた画像を画像D2F1として出力する。
補正ステップST2F2は、実施の形態6における補正ステップST40が中間画像D2に対して行った補正と同様の補正を画像D2E2に対して行う。そしてその結果得られた画像を画像D2F2として出力する。
加算ステップST2Gは、画像D2F1、D2F2を加算した結果を中間画像D2として出力する。ここで加算の方法は単純加算でも加重加算でもよい。
以上が中間画像処理ステップST20の構成及び動作である。
以上が実施の形態8による画像処理方法の動作であり、実施の形態8による画像処理方法の動作は実施の形態4による画像処理装置と同等である。したがって実施の形態8による画像処理方法は実施の形態4による画像処理装置と同じ作用、効果を持つ。
なお、実施の形態8による画像処理方法の効果は、補正ステップST2F1、2F2の双方を備えることで最大となるが、補正ステップST2F1、2F2の少なくとも一つを備えることでも効果を得ることは出来る。