JP4628463B2

JP4628463B2 - 画質補正装置、画質補正方法及び画質補正プログラム

Info

Publication number: JP4628463B2
Application number: JP2008279878A
Authority: JP
Inventors: 英朋境野
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2008-10-30
Filing date: 2008-10-30
Publication date: 2011-02-09
Anticipated expiration: 2028-10-30
Also published as: JP2010109706A

Description

本発明は、ボヤケたエッジ部分の画質を補正する画質補正装置、画質補正方法及び画質補正プログラムの技術に関する。

従来から、撮影の条件等によって、撮影された対象の画質が劣化することが知られている。例えば、遠方に位置する建物を撮影した際に、その建物の輪郭部分やエッジ部分が曖昧となったり、色彩が本来の色よりも薄くなる場合がある。これは、画素数や撮影された対象の濃淡密度に起因するものであり、具体的には、撮影対象の密度に対して撮影時の画素数が不足した場合に生じる現象である。

また、撮影された対象を拡大した場合には、デジタル画像固有のブロックノイズの影響により、その輪郭部分やエッジ部分が階段状に粗く表示されて、同様に画質が劣化することが知られている。

従来、このように画質の劣化が生じた撮影画像については、スムージングと称される平滑化によるデジタル的な補正を行うことにより、光学レンズの倍率を上げたり撮影解像度を高めた場合であっても、ブロックノイズ等を緩和して撮影された対象を明瞭に表示することが可能であった（非特許文献１参照）。
田村秀行監修、"コンピュータ画像処理入門第５章画像の特徴抽出と解析・認識"、総研出版、1985年、p.118-125 "第４章画像再構成の基礎"、［online］、［平成20年10月20日検索］、インターネット＜URL : http://www.iryokagaku.co.jp/frame/03-honwosagasu/370/c-4.pdf＞ "画像処置技術の応用バイキュービック変換"、［online］、［平成20年10月20日検索］、インターネット＜URL : http://www.jeol.co.jp/technical/eo/denshi-pro/epma007/epma007-1.htm＞

しかしながら、対象である輪郭部分やエッジ部分の位置によっては平滑化により元情報量を低下させるため、結果として画像全体がボヤケてしまうという問題があった。なお、このボヤケについては、点広がり関数（非特許文献２参照）を用いて画質を改善することも可能であるが、やはり画像全体について一様に点広がり関数を適用して画像を推定するため、特定のエッジ部分については正確に復元できないという問題があった。

本発明は、上記を鑑みてなされたものであり、ボヤケたエッジ部分の画質を高速かつ正確に補正する画質補正装置、画質補正方法及び画質補正プログラムを提供することを課題とする。

第１の請求項に係る発明は、ボヤケたエッジ部分の画質を補正する画質補正装置において、ある対象が撮影された撮影画像を蓄積しておく蓄積手段と、前記撮影画像を前記蓄積手段から読み出して、前記対象を形成しているエッジを抽出する抽出手段と、前記エッジの形状を成す直線又は曲線を用いてエッジ上のエッジ画素における法線を求め、当該法線上に存在する複数の画素のうち前記エッジ画素から所定の範囲内に位置する任意の画素を選択し、選択した当該画素を前記エッジ画素に向かって移動させると共に当該画素の濃度を高めることにより、前記抽出したエッジを補正する補正手段と、を有することを要旨とする。

第２の請求項に係る発明は、前記選択した画素を前記エッジ画素に向かって移動させる移動率と、当該画素の濃度を高める濃度増加率とを、当該画像の拡大率に対応付けて求めておく解析手段を更に有し、前記補正手段は、前記撮影画像の拡大率に対応する前記移動率と前記濃度増加率を用いて、前記抽出したエッジを補正することを要旨とする。

第３の請求項に係る発明は、ボヤケたエッジ部分の画質を補正する画質補正装置で行う画質補正方法において、前記画質補正装置により、ある対象が撮影された撮影画像を蓄積手段に蓄積しておく第１のステップと、前記撮影画像を前記蓄積手段から読み出して、前記対象を形成しているエッジを抽出する第２のステップと、前記エッジの形状を成す直線又は曲線を用いてエッジ上のエッジ画素における法線を求め、当該法線上に存在する複数の画素のうち前記エッジ画素から所定の範囲内に位置する任意の画素を選択し、選択した当該画素を前記エッジ画素に向かって移動させると共に当該画素の濃度を高めることにより、前記抽出したエッジを補正する第３のステップと、を有することを要旨とする。

第４の請求項に係る発明は、前記選択した画素を前記エッジ画素に向かって移動させる移動率と、当該画素の濃度を高める濃度増加率とを、当該画像の拡大率に対応付けて求めておくステップを更に有し、前記第３のステップは、前記撮影画像の拡大率に対応する前記移動率と前記濃度増加率を用いて、前記抽出したエッジを補正することを要旨とする。

第５の請求項に係る発明は、請求項３又は４に記載の画質補正方法における各ステップをコンピュータによって実行させることを要旨とする。

本発明によれば、ボヤケたエッジ部分の画質を高速かつ正確に補正する画質補正装置、画質補正方法及び画質補正プログラムを提供することができる。

図１は、撮影された対象の画質が劣化した撮影画像と、後述する画質補正装置によりその画質が補正された補正画像とを示す図である。図１（ａ）に示す撮影画像は、建造物や樹木等の撮影対象が全体的に薄暗く、画質の低下によってボヤケが発生している状態を示している。一方、図１（ｂ）に示す補正画像は、そのボヤケが解消されて高画質化された状態を示している。

ここで、撮影画像及び補正画像における建造物の任意のエッジ部分（輪郭部分）を拡大すると、そのボヤケの影響により撮影画像のエッジ部分の幅が補正画像のエッジ部分の幅よりも広くなり、エッジ部分の断面（Ａ−Ｂの断面）における濃淡値については、撮影画像の濃淡値のグラフの方が補正画像の濃淡値のグラフよりも裾が広がり、ピーク値は補正画像よりも低くなっている。そのため、撮影画像のエッジ部分が不明瞭となり、撮影画像全体がボヤケたように見えるようになる。

そこで、本発明では、撮影された対象を形成しているエッジ部分について鮮鋭化の処理を施すことにより、結果として図１（ｂ）に示すような補正画像を得ることを目的としている。

〔第１の実施の形態〕
図２は、第１の実施の形態に係る画質補正装置の機能構成を示す機能構成図である。この画質補正装置１００は、入力部１１と、抽出部１２と、補正部１３と、表示部１４と、画像蓄積部３１とを備えた構成である。

入力部１１は、図１（ａ）に示したような、画質の劣化により所定の撮影対象にボヤケが生じた撮影画像の入力を受け付ける機能を備えている。

画像蓄積部３１は、入力部１１で受け付けた後に入力された撮影画像を蓄積しておく機能を備えている。このような画像蓄積部３１としては、例えばメモリ，ハードディスク等の記憶装置を用いることが一般的であり、画質補正装置１００の内部のみならず、通信ネットワークを介して電気的に接続可能な外部の記憶装置を用いることも可能である。

抽出部１２は、画像蓄積部３１に蓄積された撮影画像を読み出して、撮影画像に撮影されている対象を形成しているエッジ部分を抽出する機能を備えている。エッジ部分とは、画素の濃淡値が著しく変化している部分であって、撮影された対象の輪郭線やテクスチャ等にみられる視覚的な変動が非常に大きい部分である。ゆえに、抽出部１２は、濃淡値が０〜２５５の階調で表現される場合に、撮影画像を構成している各画素について、対象画素の濃淡値が上下左右に隣接している各画素の濃淡値よりも例えば２００以上大きい場合に、その対象画素をエッジ部分として抽出する。

補正部１３は、エッジ部分の形状を成す直線や曲線を用いてエッジ部分上のエッジ画素における法線ベクトルを求め、求めた法線ベクトル上に存在する複数の画素のうちエッジ画素から所定の範囲内に位置する任意の画素を選択し、選択した選択画素をエッジ画素に向かって移動させると共に、その選択画素の濃度を高めることにより、抽出部１２で抽出されたエッジ部分を補正する機能を備えている。

ここで、補正部１３の補正処理について具体的に説明する。図３は、補正部の補正処理を説明するための説明図である。複数の画素の集合によりエッジ部分が表現され、各画素にはエッジを表現している濃淡が備わっている。また、エッジ部分の周辺には、ボヤケの要因となる低濃淡値の画素（淡い濃淡の画素）がエッジ部分に沿うように存在している。

補正部１３は、エッジ部分の形状を成している各画素の二次元座標（ｉ，ｊ）を用いて二次元空間における直線又は曲線の数式を導出し、例えば導出された数式が曲線の場合には、その曲線の一次微分を計算することにより、エッジ上のエッジ画素ｘ_０における曲線上の接線の傾きを計算する。そして、補正部１３は、計算された接線の傾きを用いてエッジ画素ｘ_０における曲線に対する法線ベクトルを求めて、エッジ画素ｘ_０から例えば２画素分離れた場所に位置する法線ベクトル上の画素（選択画素ｘ_１，選択画素ｘ_２）を選択する。ここで、法線ベクトルでの断面（Ａ−Ｂの断面）における濃淡値については、図４の実線に示すような関係のグラフが得られるので、図１（ｂ）に示すよう画像を得るため、換言すれば、図４の破線に示すような関係のグラフにするために、補正部１３は、選択画素ｘ_１及び選択画素ｘ_２をエッジ画素ｘ_０の位置に向かって移動させると共に、選択画素ｘ_１及び選択画素ｘ_２の各濃淡値をエッジ画素ｘ_０の濃淡値に近づけるように濃度を高く変化させる。

表示部１４は、補正部１３によって補正された撮影画像を表示する機能を備えている。

続いて、第１の実施の形態に係る画質補正装置の処理フローについて説明する。図５は、第１の実施の形態に係る画質補正装置の処理フローを示すフロー図である。最初に、入力部１１が、所定の対象が撮影された撮影画像の入力を受け付ける（ステップＳ１０１）。次に、画像蓄積部３１が、入力された撮影画像を一旦蓄積しておく（ステップＳ１０２）。

その後、抽出部１２が、撮影画像に撮影されている対象を形成しているエッジ部分を複数抽出する（ステップＳ１０３）。

そして、補正部１３が、エッジ部分上のエッジ画素における法線ベクトルを求め、求めた法線ベクトル上に存在する任意の画素を選択し、選択した選択画素をエッジ画素に向かって移動させると共に、その選択画素の濃度を高めて、抽出されたエッジ部分を補正する（ステップＳ１０４）。

また、補正部１３は、全てのエッジ部分について補正が終了したか否かを判定（ステップＳ１０５）し、終了していなければ全てのエッジ部分を補正するまでステップＳ１０４の処理を繰り返す。

最後に、表示部１４が、補正された撮影画像を表示する（ステップＳ１０６）。

本実施の形態によれば、エッジ部分の形状を成す直線又は曲線を用いてエッジ上のエッジ画素における法線を求め、求めた法線上に存在する複数の画素のうちエッジ画素から所定の範囲内に位置する任意の画素を選択し、選択した選択画素をエッジ画素に向かって移動させると共に選択画素の濃度を高めて、抽出したエッジを補正するので、劣化した画質を有する撮影画像であっても、ボヤケたエッジ部分の画質を正確に補正することが可能となる。また、本実施の形態で説明した補正処理は単純な線形処理演算なので、通常リンギングと称されるエッジ付近のボヤケを高速に解消することが可能となる。

〔第２の実施の形態〕
続いて、第２の実施の形態について説明する。本実施の形態では、撮影画像を拡大した場合にボヤケが生じた対象のエッジ部分を補正する処理について説明する。図６は、第２の実施の形態に係る画質補正装置の機能構成を示す機能構成図である。この画質補正装置１００は、第１の実施の形態で説明した画質補正装置１００に対して、解析部１５と、補正率蓄積部３２とを更に備えた構成である。

図３を用いて説明したエッジ画素ｘ_０の濃淡値をＩＥ（ｘ_０）とし、法線ベクトル上の任意の選択画素ｘ_ｉの濃淡値をＩＥ（ｘ_ｉ）とした場合、式（１）に示すような評価計算式を導出することができる。式（１）は、エッジ画素ｘ_０と選択画素ｘ_ｉとの間における濃淡値の差分の平均値σ（ｘ）を計算するものであり、σ（ｘ）値が小さいほどボヤケが小さく、σ値が大きいほどボヤケは大きくなることを意味している。なお、ｎｅは法線ベクトル上の画素の総数であり、Ωは法線ベクトル上で予め設定する範囲内にある画素の集合である。

そこで、本実施の形態に係る補正部１３は、式（１）をエッジ画素ｘ_０と選択画素ｘ_１との間の距離で正規化した式（２）を用いて、撮影画像を拡大した際の勾配値ｒを計算し、計算された勾配値ｒに対応する濃度増加率及び画素移動率（これら濃度増加率及び画素移動率については後述にて説明する）を用いて、選択画素ｘ_１をエッジ画素ｘ_０の位置に向かって移動させると共に、選択画素ｘ_１の濃度を変化させる。式（２）における右辺の分子は、エッジ画素ｘ_０の濃淡値と選択画素ｘ_１の濃淡値との差分を意味し、右辺の分母は、エッジ画素ｘ_０と選択画素ｘ_１との間の距離を意味している。

なお、式（２）は、任意の選択画素ｘ_ｉの一例である選択画素ｘ_１に対応する勾配値ｒを計算する数式であり、選択画素ｘ_２の場合でも同様の計算方法で勾配値ｒを計算可能であることは言うまでもない。

解析部１５は、撮影画像の拡大率に対応する濃度増加率及び画素移動率を解析しておく機能を備えている。ここで、濃度増加率及び画素移動率の解析方法について具体的に説明する。図７は、濃度増加率及び画素移動率を解析しておく処理を説明する説明図である。解析部１５は、濃淡値Ｉ，幅Ｘの１本の直線が撮影された撮影画像をｂｉｃｕｂｉｃ法（バイキュービック法：非特許文献３参照）を用いて、２倍，４倍，６倍に拡大した拡大画像を生成する。このとき、拡大率が高くなるに従って直線の幅が太くなり濃淡値が低下するため、例えば拡大率が２倍の拡大画像の濃淡値が濃淡値Ｉの１／３倍，幅が幅Ｘの２．０４倍になったものとする。一方、拡大率が２倍の拡大画像における理想的な濃淡値は１／２倍，幅は２倍であるとする。

ここで、解析部１５は、撮影画像を２倍に拡大した場合には、式（２）で示した勾配値ｒに対して、１／３倍の濃淡値を１／２倍の濃淡値にするために拡大後の画像について３／２（＝（１／２）／（１／３））の濃度増加率を与えるように解析しておく。また、２．０４倍の幅を２倍の幅にするために拡大後の画像について２／２．０４の画素移動率を与えるように解析しておく。その後、解析部１５は、他の倍率の拡大画像についても同様に解析することにより、図８に示すように、所定の勾配値ｒに対する濃度増加率や画素移動率を、撮影画像の拡大率に応じて関係付けた補正率を生成しておく機能を備えている。

なお、必要に応じて１０倍や１５倍等の他の拡大率についても同様の計算により濃度増加率及び画素移動率を生成しておくことも可能であるし、拡大する前の元撮影画像を複数枚準備し、各元撮影画像について同倍率に対する複数の濃度増加率及び複数の画素移動率を計算して平均値を濃度増加率及び画素移動率とすることも可能である。

補正率蓄積部３２は、解析部１５により解析された濃度増加率及び画素移動率を蓄積しておく機能を備えている。

続いて、第２の実施の形態に係る画質補正装置の処理フローについて説明する。図９は、第２の実施の形態に係る画質補正装置の処理フローを示すフロー図である。最初に、解析部１５が、所定の拡大率に対応する濃度増加率及び画素移動率をそれぞれ解析しておく（ステップＳ２０１）。次に、補正率蓄積部３２が、解析された濃度増加率及び画素移動率を蓄積しておく（ステップＳ２０２）。

続いて、入力部１１が、所定の対象が撮影された撮影画像の入力を受け付ける（ステップＳ２０３）。そして、画像蓄積部３１が、入力された撮影画像を一旦蓄積しておく（ステップＳ２０４）。

その後、抽出部１２が、撮影画像を画像蓄積部３１から読み出して、読み出した撮影画像が例えば２倍に拡大された場合に、拡大後の画像に含まれる対象を形成しているエッジ部分を複数抽出する（ステップＳ２０５）。

そして、補正部１３が、エッジ部分上のエッジ画素における法線ベクトルを求め、求めた法線ベクトル上に存在する任意の画素を選択し、エッジ画素及び選択画素の濃淡値及び二次元座標を用いて式（２）で示した勾配値ｒを計算する。その後、補正部１３は、拡大率が２倍であって、計算された勾配値ｒに対応する濃度増加率及び画素移動率を補正率蓄積部３２から読み出して、読み出した濃度増加率及び画素移動率を用いて選択画素をエッジ画素に向かって移動させると共に、その選択画素の濃度を高めて、抽出されたエッジ部分を補正する（ステップＳ２０６）。

また、補正部１３は、全てのエッジ部分について補正が終了したか否かを判定（ステップＳ２０７）し、終了していなければ全てのエッジ部分を補正するまでステップＳ２０６の処理を繰り返す。

最後に、表示部１４が、補正された撮影画像を表示する（ステップＳ２０８）。

本実施の形態によれば、画素移動率及び濃度増加率を画像の拡大率に対応付けて求めておき、撮影画像の拡大率に対応する移動率及び濃度増加率を用いてエッジ部分を補正するので、より迅速にボヤケたエッジ部分の画質を正確に補正することが可能となる。

最後に、各実施の形態で説明した画質補正装置は、コンピュータで構成され、各機能ブロックの各処理はプログラムで実行されるようになっている。また、各実施の形態で説明した画質補正装置の各処理動作をプログラムとして例えばコンパクトディスクやフロッピー（登録商標）ディスク等の記録媒体に記録して、この記録媒体をコンピュータに組み込んだり、若しくは記録媒体に記録されたプログラムを、任意の通信回線を介してコンピュータにダウンロードしたり、又は記録媒体からインストールし、該プログラムでコンピュータを動作させることにより、上述した各処理動作を画質補正装置として機能させることができるのは勿論である。

なお、本実施の形態で説明した画質補正装置は、特にマルチメディア分野，符号化分野，通信分野，映像監視分野の技術分野において応用可能であることを付言しておく。

撮影された対象の画質が劣化した撮影画像と、後述する画質補正装置によりその画質が補正された補正画像とを示す図である。第１の実施の形態に係る画質補正装置の機能構成を示す機能構成図である。補正部の補正処理を説明するための説明図である。法線ベクトルでの断面における濃淡値のグラフである。第１の実施の形態に係る画質補正装置の処理フローを示すフロー図である。第２の実施の形態に係る画質補正装置の機能構成を示す機能構成図である。濃度増加率及び画素移動率を解析しておく処理を説明する説明図である。所定の勾配値に対する濃度増加率や画素移動率を、撮影画像の拡大率に応じて関係付けた補正率を示す図である。第２の実施の形態に係る画質補正装置の処理フローを示すフロー図である。

符号の説明

１１…入力部
１２…抽出部
１３…補正部
１４…表示部
３１…画像蓄積部
３２…補正率蓄積部
１００…画質補正装置
Ｓ１０１〜Ｓ１０６，Ｓ２０１〜Ｓ２０８…ステップ

Claims

ボヤケたエッジ部分の画質を補正する画質補正装置において、
ある対象が撮影された撮影画像を蓄積しておく蓄積手段と、
前記撮影画像を前記蓄積手段から読み出して、前記対象を形成しているエッジを抽出する抽出手段と、
前記エッジの形状を成す直線又は曲線を用いてエッジ上のエッジ画素における法線を求め、当該法線上に存在する複数の画素のうち前記エッジ画素から所定の範囲内に位置する任意の画素を選択し、選択した当該画素を前記エッジ画素に向かって移動させると共に当該画素の濃度を高めることにより、前記抽出したエッジを補正する補正手段と、
を有することを特徴とする画質補正装置。
前記選択した画素を前記エッジ画素に向かって移動させる移動率と、当該画素の濃度を高める濃度増加率とを、当該画像の拡大率に対応付けて求めておく解析手段を更に有し、
前記補正手段は、前記撮影画像の拡大率に対応する前記移動率と前記濃度増加率を用いて、前記抽出したエッジを補正することを特徴とする請求項１に記載の画質補正装置。
ボヤケたエッジ部分の画質を補正する画質補正装置で行う画質補正方法において、
前記画質補正装置により、
ある対象が撮影された撮影画像を蓄積手段に蓄積しておく第１のステップと、
前記撮影画像を前記蓄積手段から読み出して、前記対象を形成しているエッジを抽出する第２のステップと、
前記エッジの形状を成す直線又は曲線を用いてエッジ上のエッジ画素における法線を求め、当該法線上に存在する複数の画素のうち前記エッジ画素から所定の範囲内に位置する任意の画素を選択し、選択した当該画素を前記エッジ画素に向かって移動させると共に当該画素の濃度を高めることにより、前記抽出したエッジを補正する第３のステップと、
を有することを特徴とする画質補正方法。
前記選択した画素を前記エッジ画素に向かって移動させる移動率と、当該画素の濃度を高める濃度増加率とを、当該画像の拡大率に対応付けて求めておくステップを更に有し、
前記第３のステップは、前記撮影画像の拡大率に対応する前記移動率と前記濃度増加率を用いて、前記抽出したエッジを補正することを特徴とする請求項３に記載の画質補正方法。
請求項３又は４に記載の画質補正方法における各ステップをコンピュータによって実行させることを特徴とする画質補正プログラム。