JP6035153B2 - 画像処理装置、画像表示装置、プログラム、および、記憶媒体 - Google Patents

画像処理装置、画像表示装置、プログラム、および、記憶媒体 Download PDF

Info

Publication number
JP6035153B2
JP6035153B2 JP2013006740A JP2013006740A JP6035153B2 JP 6035153 B2 JP6035153 B2 JP 6035153B2 JP 2013006740 A JP2013006740 A JP 2013006740A JP 2013006740 A JP2013006740 A JP 2013006740A JP 6035153 B2 JP6035153 B2 JP 6035153B2
Authority
JP
Japan
Prior art keywords
determination
processing unit
noise
filter
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013006740A
Other languages
English (en)
Other versions
JP2014138329A (ja
Inventor
松岡 輝彦
輝彦 松岡
豊久 松田
豊久 松田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2013006740A priority Critical patent/JP6035153B2/ja
Publication of JP2014138329A publication Critical patent/JP2014138329A/ja
Application granted granted Critical
Publication of JP6035153B2 publication Critical patent/JP6035153B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、ディテール感を向上できる画像処理装置、画像表示装置、プログラム、および、記憶媒体に関する。
静止画や動画といった画像を拡大表示する際、高解像度化処理を施して表示を行うと処理結果がぼやけて解像感の低下を招いてしまう。そのため、画像に強調処理を行うことが望ましい。しかしながら、ノイズを含む画像全体に単純に強調処理を施してしまうと、CCDやCMOS等の撮像素子に起因するノイズや圧縮処理に伴うノイズ(ブロックノイズ、モスキートノイズ)までもが強調され、ノイズが目立つことがある。
そこで、ノイズを含む画像に対し、強調処理を行う前にガウシアンフィルタなどのローパスフィルタを適用することで、周辺画素との平滑化によりノイズの低減が可能である。しかしながら、ノイズ低減の対象となる高周波領域(高周波成分よりなる領域)の高周波数成分がノイズによるものかディテール(画像の詳細部分)によるものかの判定がなされていないため、ディテール成分をもぼかしてしまい、画像の解像感の低下を招いてしまう。他方、バイラテラルフィルタを画像に適用することにより、周辺画素との輝度差の大小も考慮して、山の輪郭のように周辺画素との輝度差が大きい部分に対しては平滑化の効果を小さくすることでエッジの保存を期待できる。しかし、草むらや波などのように輝度差は小さいもののエッジを多く含むディテール領域は、ノイズとともにぼかされがちである。
上記の理由でぼかされたディテール成分の復元のために、アンシャープマスクなどの単純な強調処理を適用すると、上記手法で低減したノイズも同時に強調されて、ノイズの復元の原因となってしまう。
これに対し、下記の特許文献1には、ノイズ成分の増幅に起因する画質劣化を抑制しつつ輪郭強調のみ行うことを目的とした画像処理装置が開示されている。特許文献1の画像処理装置は、入力画像を、エッジ保存型平滑化処理結果と、エッジ成分を除く高周波成分(入力画像と平滑化処理結果との差分から得られる高周波成分)とに分離し、それぞれを別々に増幅処理し、その後、前記エッジ保存型平滑化処理結果と前記高周波成分とを混合処理によって再統合することにより、エッジ成分をノイズ成分やディテール成分と分離してレベル調整するという手法を実現するものである。特許文献1は、前記の手法によって、エッジ成分の増幅によるノイズ成分の増幅を有効に回避して、前記の目的を実現しようとするものである。
特開2007−188391(2007年07月26日公開)
しかしながら、特許文献1の手法の場合、輪郭強調については有効であるが、エッジ成分を除く高周波成分(入力画像と平滑化処理結果との差分から得られる高周波成分)にはディテール成分とノイズ成分が混在しており、ノイズ成分を低減しようとすればディテール成分も損なわれてしまい、逆に、ディテール成分を強調しようとするとノイズ成分も強調して際立たせてしまうという問題点がある。
本発明は、上記の問題点に鑑みてなされたものであって、画像のノイズを極力強調せずに、ディテール感を向上できる画像処理装置を提供することを目的とする。
本発明の一態様の画像処理装置は、入力画像データの画像において注目画素を含む参照範囲を設定し、前記参照範囲の各画素の輝度値に基づき、前記注目画素に適したフィルタのタイプを判定する判定処理部と、前記注目画素について、前記判定処理部にて判定されたタイプのフィルタを用いて前記入力画像データにフィルタ処理を行い、フィルタ処理済画像データを出力するフィルタ処理部と、前記入力画像データに基づき、前記注目画素がノイズであることの信頼度を示すノイズ信頼度を求め、前記ノイズ信頼度が低いほど大きくなる重み係数を出力する重み出力部と、前記注目画素について、前記入力画像データと前記フィルタ処理済画像データとの差分をディテール強調成分として求め、前記重み係数によって重み付けした前記ディテール強調成分を前記フィルタ処理済画像データに混合して得られる出力画像データを生成する混合処理部とを備えたことを特徴とする。
これにより、ノイズを強調することなく、ディテール感(精細感)を向上させることができるという効果を奏する。
実施形態1に係るテレビ放送受信装置の概略構成を示すブロック図である。 図1に示す映像信号処理部の概略構成を示したブロック図である。 図2に示すエンハンスメント処理部の概略構成を示したブロック図である。 図3に示す第1ノイズ判定処理部または第2ノイズ判定処理部の処理の流れを示したフローチャートである。 第1ノイズ判定処理部、第1フィルタ処理部にて設定される参照範囲を模式的に示した図である。 フィルタタイプを設定するために用いられるテーブルである。 図3に示す第1フィルタ処理部または第2フィルタ処理部の処理の流れを示したフローチャートである。 輝度差・係数テーブルを示した図である。 図3に示す重み出力部の処理の流れを示したフローチャートである。 S11の輝度変化急峻判定の判定結果と、S12のモスキート判定の判定結果と、微小振幅候補点判定の判定結果と、変化点判定の判定結果との組み合わせと、マスク値との対応関係を示すマスク値変換テーブルを示した図である。 ノイズ信頼度と重み係数との対応関係を示した重み係数テーブルである。 図3に示される混合処理部の処理の流れを示したフローチャートである。 図3に示される混合処理部にて行われる第1クリッピング処理を説明するための説明図である。 図3に示される混合処理部にて用いられるゲインGを説明するための説明図である。 入力輝度信号に示される入力画像の各画素の位置および輝度値を示した図である。 注目画素と周辺画素とについてのフィルタタイプの判定結果と、フィルタ処理後の結果とを説明するための説明図である。 実施形態2のエンハンスメント処理部の概略構成を示したブロック図である。 図17の混合処理部の処理の流れを示したフローチャートである。 実施形態3に係るモニタの概略構成を示すブロック図である。 実施形態4に係るマルチディスプレイを模式的に示した図である。
本発明の実施形態を図面に基づき具体的に説明する。以下の実施形態では、テレビ放送受信装置(表示装置)を本発明の一態様として説明する。
〔実施形態1〕
(テレビ放送受信装置)
図1は、実施形態1のテレビ放送受信装置1の概略構成を示すブロック図である。テレビ放送受信装置1は、テレビ放送の画像、外部の機器から入力した画像、若しくは、挿入されている記録媒体から読み出された画像を表示させる画像表示装置である。
同図に示すように、テレビ放送受信装置1は、本体部10、表示部11、音声出力部12および、操作部13を備える。また、本体部10は、インタフェース部14、チューナ部15、制御部16、および、電源ユニット17を備える。
インタフェース部14は、TVアンテナ141と、TMDS(Transition Minimized Differential Signaling)方式でシリアル通信するためのDVI(Digital Visual Interface)端子142およびHDMI(High Definition multimedia Interface)端子143と、TCP(Transmission Control Protocol)またはUDP(User Datagram Protocol)等の通信プロトコルで通信するためのLAN端子144とを含む。
インタフェース部14は、制御部16の統括制御部163からの指示に従って、DVI端子142、HDMI端子143またはLAN端子144に接続された外部の機器との間でデータを送受信する。
チューナ部15は、TVアンテナ141と接続されており、TVアンテナ141によって受信される放送信号を入力するものである。放送信号には、映像データ、音声データ等が含まれる。本実施形態では、チューナ部15は、地上波デジタルチューナ151およびBS/CSデジタルチューナ152を備えているが、このような構成に限定されるものではない。
制御部16は、テレビ放送受信装置1を制御する集積回路(LSI)であり、インタフェースを介して入力される映像データに画像処理を施す画像処理装置としても機能するようになっている。
制御部16は、映像信号処理部161、音声信号処理部162、統括制御部163、パネルコントローラ164を備える。
映像信号処理部(映像信号処理回路)161は、インタフェースを介して入力される映像データに所定の処理(画像処理)を施し、表示部11にて表示するための映像データ(映像信号)を生成する。
音声信号処理部(音声信号処理回路)162は、インタフェースを介して入力される音声データに所定の処理を施し、音声出力部12にて出力するための音声信号を生成する。
統括制御部163は、テレビ放送受信装置1が備えている各ハードウェア(各ブロック)を統括的に制御する。
パネルコントローラ164は、表示部11を制御して、映像信号処理部161が出力する映像データの映像を表示部11に表示する。
電源ユニット17は、外部(例えば商用電源)から電力を入力し、この電力をテレビ放送受信装置1の各部に供給する。統括制御部163は、操作部13が有する電源スイッチ131から入力される操作指示に応じて、電源ユニット17に電力を供給させ、また、電力の供給を遮断させる。つまり、電源スイッチ131から入力される操作指示が電源オンに切り替える操作指示である場合、テレビ放送受信装置1の各部に電力が供給され、電源スイッチ131から入力される操作指示が電源オフに切り替える操作指示である場合、電力供給が遮断される。
表示部11は、例えば、液晶表示装置(LCD)、プラズマディスプレイパネル等であり、映像信号処理部161が出力する映像データの映像を表示する。
音声出力部(スピーカ)12は、音声信号処理部162で生成された音声信号を統括制御部163の指示の下で出力する。
操作部13は、電源スイッチ131と、切替スイッチ132とを少なくとも含む。電源スイッチ131は、テレビ放送受信装置1の電源のオンとオフとの切り替えを指示する操作指示を入力するためのスイッチである。切替スイッチ132は、テレビ放送受信装置1で受像する放送チャンネルを指定する操作指示を入力するためのスイッチである。操作部13は、電源スイッチ131および切替スイッチ132が押下されることに応じて、各スイッチに対応する操作指示を統括制御部163に出力する。
なお、ここでは、テレビ放送受信装置1が備える操作部13が操作される場合を例に説明したが、テレビ放送受信装置1と無線で通信することが可能なリモートコントローラに操作部13を備えるようにして、各スイッチに対応する操作指示をテレビ放送受信装置1に送信するようにしてもよい。この場合、リモートコントローラがテレビ放送受信装置1と通信する通信媒体は、赤外光であってもよいし、電磁波であってもよい。
(映像信号処理部161について)
つぎに、映像信号処理部161について詳細に説明する。図2は、映像信号処理部161の概略構成を示すブロック図である。図2に示すように、映像信号処理部161は、デコーダ201、IP変換処理部202、スケーラ処理部203、第1信号変換処理部204、エンハンスメント処理部205、カラー調整処理部206、および、第2信号変換処理部207を備える。
デコーダ201は、インタフェース部14を通して入力された、圧縮された映像ストリームを復号してRGB信号の映像データを生成し、生成した映像データをIP変換処理部202に出力する。
IP変換処理部202は、必要に応じて、デコーダ201から送られてくる映像データをインタレース方式からプログレッシブ方式に変換し、この変換後の映像データをスケーラ処理部203へ出力する。
スケーラ処理部203は、IP変換処理部202から送られてくる映像データに対して、表示部11の画素数に応じたスケーリング処理を実行し、スケーリング処理を施した映像データを第1信号変換処理部204に出力する。
第1信号変換処理部204は、スケーラ処理部203から送られてくるRGB信号の映像データに対して色空間変換処理を行うことにより、RGB信号の映像データを、輝度信号Yと色差信号Cb,Crとに分離し、YCbCr信号の映像データをエンハンスメント処理部205に出力する。
なお、本実施形態では、一例として、RGBデータを輝度値(Y値)と色差値(Cb値・Cr値)とに分離する説明とするが、これに限るものではなく、CIELABやHSV、YIQなど、輝度成分(明度成分)と色成分とを分離できる色空間への変換処理であれば、いかなる変換処理でもよい。
エンハンスメント処理部205は、第1信号変換処理部204から送られてくる映像データの輝度信号Yに対して強調処理を実行し、当該強調処理が施された後の映像データをカラー調整処理部206へ出力する。具体的には、ノイズに関する各種判定処理を行い、判定処理の結果に応じて適応的に強調処理を施し、ノイズを極力強調せずに輪郭再現性やディテール感を向上させる。エンハンスメント処理部205の詳細については後に詳細に説明する。
カラー調整処理部206は、エンハンスメント処理部205から送られてくる映像データに、コントラストや彩度等を調整するカラー調整処理を実行し、カラー調整処理後の映像データを第2信号変換処理部207に出力する。
第2信号変換処理部207は、色空間変換処理を行うことにより、カラー調整処理部206から送られてくるYCbCr信号の映像データをRGB信号の映像データに戻し、このRGB信号の映像データをパネルコントローラ164に出力する。
なお、統括制御部163(図1)は、図示しないメモリに、映像信号処理部161により各種の処理が実行される際の映像データを適宣記憶させるようになっている。
さらに、本実施形態では、エンハンスメント処理部205で処理される映像データ(輝度信号)の映像はフレーム単位の画像の集合であり、フレーム単位の画像をフレーム画像と称する。つまり、映像は複数のフレーム画像から構成されている。本明細書では、フレーム画像を単にフレームと称する場合もある。
(エンハンスメント処理部)
つぎに、エンハンスメント処理部205を詳細に説明する。図3は、本実施形態のエンハンスメント処理部205の概略構成の一例を示すブロック図である。
エンハンスメント処理部205は、第1ノイズ判定処理部301、第2ノイズ判定処理部302、第1フィルタ処理部303、第2フィルタ処理部304、重み出力部305、および、混合処理部306を備えている。
第1ノイズ判定処理部(判定処理部、第1判定処理部)301は、入力輝度信号YINを参照して、垂直方向に関する各種判定処理を行う。第2ノイズ判定処理部(判定処理部、第2判定処理部)302は、入力輝度信号YINを参照して、水平方向に関する各種判定処理を行う。第1ノイズ判定処理部301および第2ノイズ判定処理部302にて行われる判定処理については後に説明する。
第1フィルタ処理部(フィルタ処理部)303は、第1ノイズ判定処理部301の判定結果に応じて適応的にフィルタを選択し、選択したフィルタを用いて入力輝度信号YINに対してフィルタ処理を行い、このフィルタ処理後の輝度信号YFIL1を第2フィルタ処理部304に出力する。第2フィルタ処理部(フィルタ処理部)304は、第2ノイズ判定処理部302の判定結果に応じて適応的にフィルタを選択し、選択したフィルタを用いて輝度信号YFIL1に対してフィルタ処理を行い、このフィルタ処理後の輝度信号YFIL2を混合処理部306へ出力する。
重み出力部305は、第1ノイズ判定処理部301の判定結果および第2ノイズ判定処理部302の判定結果に基づき、混合処理部306における混合処理の重み係数(混合比率)Wを求める(計算処理する)。
混合処理部306は、入力輝度信号YINと第2フィルタ処理部304によるフィルタ処理後の輝度信号YFIL2との差分をディテール強調成分(DDIFF)として求める(DDIFF=YIN−YFIL2)。そして、混合処理部306は、フィルタ処理後の輝度信号YFIL2に対して、重み係数Wと所定のゲインGとを用いて調整したディテール強調成分を混合することで強調処理を行い、混合後(強調処理後)の出力輝度信号YOUTを出力する。
(第1および第2ノイズ処理判定部)
つぎに、第1ノイズ判定処理部301および第2ノイズ判定処理部302を説明する。第1ノイズ判定処理部301は、図5に示すように、注目画素を含み且つ垂直方向に一列に並ぶ画素群からなる参照範囲(ドット部分)を設定し、この参照範囲を用いて各種判定を行うものである。
ここで、第1ノイズ判定処理部301と第2ノイズ判定処理部302とでは、以下の差異A、差異Bに示される点が異なるものの、処理フローや処理内容自体は互いに同様である。
差異A:第1ノイズ判定処理部301の参照範囲は、図5に示すように、注目画素を含み且つ垂直方向に一列に並ぶ画素群であるのに対し、第2ノイズ判定処理部302の参照範囲は、注目画素を含み且つ水平方向に一列に並ぶ画素群である点が相違する。
差異B:第1ノイズ判定処理部301は、フィルタタイプの判定結果を示したフィルタタイプ情報を第1フィルタ処理部303に出力するのに対し、第2ノイズ判定処理部302は、前記フィルタタイプ情報を第2フィルタ処理部304に出力する。
そこで、以下の説明では、便宜上、第1ノイズ判定処理部301による処理を図4のフローチャートを用いて説明し、第2ノイズ判定処理部302の処理については省略するが、第2ノイズ判定処理部302についても、前記の差異Aおよび差異Bを除いては、以下の第1ノイズ判定処理部301の処理と同様の処理が行われるものとする。
第1ノイズ判定処理部301による処理は、図4に示すように、輝度変化急峻判定(S11)、モスキート判定(S12)、フィルタタイプの決定(S13)、マスク情報設定(S14)の4つのステップからなる。
まず、第1ノイズ判定処理部301は、4つのステップを実行する前に、これらステップにて使用する、2つの画素の隣接差分の大きさと、それに対応する隣接差分の和の大きさとを求める。具体的には、以下の通りである。
<隣接差分の大きさ、隣接差分の和の大きさ>
図5に入力輝度信号YINの画素位置を示す。ここで、中心の画素が注目画素である。垂直方向(y方向)に関するノイズ判定処理(第1ノイズ判定処理部301による処理)では、注目画素と、注目画素の上下に位置する複数の参照画素とを用いて行う。具体的には、注目画素をP(x,y)とすると、P(x,y)が中心に位置しており且つ9個の画素が垂直方向に連続して一列に並ぶ画素群を参照範囲(図5のドット部分)とし、参照範囲内の画素のうち、P(x,y)以外の8つの画素を参照画素とする。但し、水平方向(x方向)に関する処理(第2ノイズ判定処理部302による処理)では、P(x,y)が中心に位置しており且つ9個の画素が水平方向(x方向)に連続して一列に並ぶ画素群を参照範囲として特定することになる。また、本実施形態では参照範囲の画素数を9とするが、勿論、当該画素数は変更可能である。
なお、前述したようにP(x,y)は注目画素であるが、図5に示すように、P(x,y−n)を示す画素は、注目画素からn個上の位置にある画素を示し、P(x,y+n)を示す画素は、注目画素からn個下の位置にある画素を示すものとする(n=1〜4の整数)。同様に、図5に示すように、P(x−n,y)を示す画素は、注目画素からn個左の位置にある画素を示し、P(x+n,y)を示す画素は、注目画素からn個右の位置にある画素を示す。つまり、P(x±n、y±n)の(x±n、y±n)は画素の座標値である。
そして、第1ノイズ判定処理部301は、参照範囲内の9画素におけるそれぞれの隣接差分の大きさと隣接差分の和の大きさとを以下のようにして求める。なお、以下の説明では、P(x,y)は、P(x,y)の輝度値(つまり注目画素の輝度値)を示す。また、同様に、P(x,y−n)は、P(x,y−n)の輝度値を示し、P(x,y+n)は、P(x,y+n)の輝度値を示す。
垂直方向に関する隣接差分
dPR43=P(x,y−4)−P(x,y−3)
dPR32=P(x,y−3)−P(x,y−2)
dPR21=P(x,y−2)−P(x,y−1)
dPR10=P(x,y−1)−P(x,y )
dNX01=P(x,y )−P(x,y+1)
dNX12=P(x,y+1)−P(x,y+2)
dNX23=P(x,y+2)−P(x,y+3)
dNX34=P(x,y+3)−P(x,y+4)
隣接差分の大きさ
dAPR43=|dPR43|
dAPR32=|dPR32|
dAPR21=|dPR21|
dAPR10=|dPR10|
dANX01=|dNX01|
dANX12=|dNX12|
dANX23=|dNX23|
dANX34=|dNX34|
隣接差分の和の大きさ
sumAPR3=|dPR43+dPR32|
sumAPR2=|dPR32+dPR21|
sumAPR1=|dPR21+dPR10|
sumACNT=|dPR10+dNX01|
sumANX1=|dNX01+dNX12|
sumANX2=|dNX12+dNX23|
sumANX3=|dNX23+dNX34|
(S11の輝度変化急峻判定)
第1ノイズ判定処理部301は、隣接差分の大きさと隣接差分の和の大きさとを用いて、下記の第1予備判定〜第3予備判定を行い、これら3つの予備判定の判定結果に基づいて、輝度変化急峻判定を行う。輝度変化急峻判定とは、注目画素が輝度変化急峻領域に属する可能性があるかどうかの判定である。輝度変化急峻領域は、注目画素と隣接画素との間で輝度差が大きくなっている領域(輝度変化が急峻になっている領域)である。より具体的に説明すると、輝度変化急峻領域は、(a)画素位置が移っていくに従って平坦部からエッジ部に変わっていくような領域、または、(b)上方向(水平の場合は左方向)の隣接画素の輝度値から注目画素の輝度値を引いた際の差分の符号と、注目画素の輝度値から下方向(水平の場合は右方向)の隣接画素の輝度値を引いた際の差分の符号とが異なっている領域を指す。
<第1予備判定>
第1予備判定は注目画素が非平坦部(輝度が均一な平坦部以外の領域)であるかどうかの判定である。第1ノイズ判定処理部301は、注目画素とその上下の画素との隣接差分の大きさであるdAPR10またはdANX01が0でない場合、注目画素は非平坦部であると判定する。つまり、dAPR10およびdANX01の少なくとも一方が0ではない場合、注目画素は非平坦部と判定され、それ以外の場合は注目画素が非平坦部と判定しない。
<第2予備判定>
第2予備判定は注目画素がエッジ開始部であるかどうかの判定である。第1ノイズ判定処理部301は、注目画素とその上下の画素との隣接差分の大きさであるdAPR10またはdANX01が0である場合、注目画素はエッジ開始部であると判定する。つまり、dAPR10およびdANX01の少なくとも一方が0である場合、注目画素はエッジ開始部と判定され、それ以外の場合はエッジ開始部と判定しない。
<第3予備判定>
第3予備判定は注目画素が頂点部であるかどうかの判定である。頂点部とは、隣接画素(近傍画素)との差分(隣接差分)の符号が注目画素の前後で異なる部分の注目画素を示しており、例えば、注目画素の輝度が低い場合にその両側の近傍画素の輝度が両方とも高い場合、若しくは、注目画素の輝度が高い場合にその両側の近傍画素の輝度が両方とも低い場合、その注目画素を頂点部とみなす。このような頂点部はスパイクノイズのような孤立点ノイズである可能性が高い。隣接差分を求める際には、注目画素に対して垂直方向であれば(第1ノイズ判定処理部301の処理)、上から下、注目画素に対して水平方向であれば(第2ノイズ判定処理部302の処理)、左から右に順番に差分を計算する為、頂点部の場合、隣接差分の符号が注目画素の前後で異なることになる。
そこで、第1ノイズ判定処理部301は、注目画素とその1つ上の画素との隣接差分の大きさ(絶対値)と、注目画素とその1つ下の画素との隣接差分の大きさ(絶対値)との和(dAPR10+dANX01)を求める。そして、第1ノイズ判定処理部301は、(dAPR10+dANX01)がsumACNTよりも大きい場合、注目画素は頂点部であると判定し、それ以外の場合は注目画素が頂点部と判定しない。なお、sumACNTは、注目画素とその1つ上の画素との隣接差分と、注目画素とその1つ下の画素との隣接差分との和の大きさ(絶対値)である。
<輝度変化急峻判定>
第1ノイズ判定処理部301は、第1予備判定、第2予備判定、第3予備判定の判定結果に基づいて、注目画素について垂直方向に関する輝度変化急峻判定を行う。
具体的には、第1予備判定にて注目画素が非平坦部と判定され且つ第2予備判定にて注目画素がエッジ開始点と判定されたという条件を満たす場合、または、第3予備判定にて注目画素が頂点部であると判定されたという条件を満たす場合、第1ノイズ判定処理部301は、注目画素が輝度変化急峻領域(スパイクノイズの領域)に属する可能性があると判定し、これら以外の場合は注目画素を輝度変化急峻領域に属するとは判定しない。
(S12のモスキート判定)
図4に示すように、第1ノイズ判定処理部301は、S11のピーク判定後、モスキート判定を行うようになっている(S12)。ここでは、隣接差分の大きさと隣接差分の和の大きさとを用いて、以下の第4予備判定〜第7予備判定の4つの予備判定を行い、4つの予備判定の判定結果に基づいて、モスキート判定を行うようになっている。
<第4予備判定>
第4予備判定は、注目画素がモスキートノイズの発生している可能性のある平坦部かどうかの判定である。以下、この判定を説明する。
まず、第1ノイズ判定処理部301は、図5の参照範囲(ドット部分)のうち、注目画素と注目画素よりも上側の参照画素とからなる上側領域と、注目画素と注目画素よりも下側の参照画素とからなる下側領域との各々について、隣接差分の大きさの和(PRASumおよびNXASum)を求める。
PRASum=dAPR43+dAPR32+dAPR21+dAPR10
NXASum=dANX01+dANX12+dANX23+dANX34
つまり、PRASumが上側領域の隣接差分の大きさの和であり、NXASumが上側領域の隣接差分の大きさの和である。
隣接する画素同士の輝度差が小さい領域は平坦部である。つまり、PRASumが予め定められた第1閾値(TH1)よりも小さい場合、注目画素の上側領域は平坦部であり、NXASumが第1閾値よりも小さい場合、注目画素の下側領域は平坦部である。
これに対し、隣接する画素同士の輝度差が大きい場合、この画素同士を含む領域にはエッジのような輝度差が存在することになる。つまり、PRASumが第1閾値以上の場合、前記上側領域にはエッジが存在し、NXASumが第1閾値以上の場合、前記下側領域にはエッジが存在することになる。
そして、モスキートノイズはエッジ付近の平坦部に発生する圧縮ノイズであることから、PRASumおよびNXASumのうち、一方が第1閾値よりも小さく、他方が第1閾値以上であるような場合、モスキートノイズが発生している可能性がある。
そこで、第1ノイズ判定処理部301は、PRASumおよびNXASumのうち、一方が第1閾値よりも小さく、他方が第1閾値以上である場合、注目画素を、モスキートノイズの発生している可能性のある平坦部であると判定し、それ以外の場合、注目画素を、モスキートノイズの発生している可能性のある平坦部であると判定しない。
<第5予備判定>
第5予備判定は、図5の参照範囲(ドット部分)から求められた隣接差分の大きさの総和(ALLASum)を求め、ALLASumに基づき、モスキートノイズが発生している可能性を判断する処理である。以下、この処理について説明する。
モスキートノイズはエッジ付近の平坦部に発生する圧縮ノイズである。これに対し、加算結果(ALLASum)が大きい場合、図5の参照範囲(注目画素の上側、および、下側を合わせた注目画素周辺)において、エッジのような輝度差が存在する可能性がある。
そこで、第1ノイズ判定処理部301は、以下の式のようにALLASumを求め、ALLASumが予め定められた第2閾値(TH2)よりも大きい場合、モスキートノイズが発生している可能性があると判定し、それ以外の場合、モスキートノイズが発生している可能性があると判定しない。
ALLASum=PRASum+NXASum
<第6予備判定>
第6予備判定は、隣接差分の大きさ(dPRA43〜dNXA34)と隣接差分の和の大きさ(sumAPR3〜sumANX3)とのうちの最高値(ALLAMAX)を求め、ALLAMAXからモスキートノイズが発生している可能性を判断する処理であり、以下の式のようになる。
ALLAMAX=max(dPRA43,…,dNXA34,sumAPR3,…,sumANX3)
つまり、max(a,b,・・・,z)はa〜zまでの中で最大値のものを選択することを表す。
モスキートノイズはエッジ付近の平坦部に発生する圧縮ノイズである。この点、ALLAMAXが予め定められた第3閾値(TH3)よりも大きい場合、注目画素の周辺にエッジのような輝度差の大きな部分が存在する可能性がある。
そこで、第1ノイズ判定処理部301は、ALLAMAXが予め定められた第3閾値よりも大きい場合、モスキートノイズが発生している可能性があると判定し、それ以外の場合、モスキートノイズが発生している可能性があると判定しない。
<第7予備判定>
第7予備判定は、注目画素がモスキートノイズの発生している可能性があるモスキート候補点かどうかの判定である。以下、この判定について説明する。
モスキートノイズはエッジ付近の平坦部に発生する圧縮ノイズであることから、注目画素とその上下の画素とを含む部分が平坦部であると、注目画素が前記モスキート候補点と考えることができる。
そこで、注目画素とその上の画素との隣接差分の大きさ(dAPR10)および注目画素とその下の画素との隣接差分の大きさ(dANX01)のうちの大きい方が予め定められた第4閾値(TH4)よりも小さい場合、第1ノイズ判定処理部301は、注目画素を前記モスキート候補点と判定し、それ以外の場合、第1ノイズ判定処理部301は、注目画素を前記モスキート候補点とは判定しない。
<モスキート判定>
第1ノイズ判定処理部301は、第4予備判定〜第7予備判定から得られる4つの判定結果を基に、注目画素がモスキート画素(モスキートノイズの生じている可能性のある画素)であるかどうかのモスキート判定を行う。
具体的には、第4予備判定にて注目画素がモスキートの発生している可能性のある平坦部であると判定され、第5予備判定(ALLASumを用いた判定)にてモスキートノイズが発生している可能性があると判定され、第6予備判定(ALLAMAXを用いた判定)にてモスキートノイズの発生している可能性があると判定され、且つ、第7予備判定にて注目画素がモスキート候補点であると判定された場合、注目画素をモスキート画素であると判定する。それ以外の場合、第1ノイズ判定処理部301は、注目画素をモスキート画素であると判定しない。
(S13のフィルタタイプの決定)
図4に示すように、第1ノイズ判定処理部301は、S12のモスキート判定後、フィルタタイプを決定して、決定したフィルタタイプを示すフィルタタイプ情報を出力するようになっている(S13)。
ここでは、下記に示す微小振幅候補点判定と変化点判定との2つの判定を行い、微小振幅候補点判定の判定結果と、変化点判定の判定結果と、前述のS11の輝度変化急峻判定の判定結果と、前述のS12のモスキート判定の判定結果との4つの判定結果に基づいてフィルタタイプを設定する。
<微小振幅候補点判定>
微小振幅候補点判定は、注目画素が、微小振幅候補点であるかどうかの判定である。微小振幅候補点とは、平坦部(平坦領域)の候補点、または、微小振幅ノイズ領域(小さな輝度変化のノイズのある領域)の候補点を指す。以下、微小振幅候補点判定について説明する。
注目画素とその上の画素との隣接差分の大きさ(dAPR10)、および、注目画素とその下の画素との隣接差分の大きさ(dANX01)のいずれか大きい方が予め定められた第5閾値(TH5)よりも小さい場合、注目画素は輝度の変化が小さな領域の画素であるため、注目画素は前記微小振幅候補点と考えられる。
そこで、第1ノイズ判定処理部301は、dAPR10およびdANX01のうちの大きい方が第5閾値より小さい場合、注目画素を微小振幅候補点と判定し、それ以外の場合は、注目画素を当該候補点と判定しない。なお、第5閾値は、第7予備判定で用いられる第4閾値よりも小さく設定される閾値である。
<変化点判定>
変化点判定は、注目画素が変化点(輝度変化が多く存在する領域に属する可能性のある画素)であるかどうかを判定する処理である。以下、この判定を説明する。
第5予備判定で用いた隣接差分の大きさの総和(ALLASum)が予め定められた第6閾値(TH6)よりも大きい場合、注目画素は輝度変化が多く存在する領域の画素であると考えられる。
そこで、第1ノイズ判定処理部301は、ALLASumが第6閾値よりも大きい場合、注目画素を画素の変化点と判定し、それ以外の場合、注目画素を画素の変化点と判定しない。なお、第6閾値は、第5予備判定で用いられる第2閾値よりも大きく設定される値である。
<フィルタタイプ設定>
第1ノイズ判定処理部301は、微小振幅候補点判定の判定結果と、変化点判定の判定結果と、前述のS11の輝度変化急峻判定の判定結果と、前述のS12のモスキート判定の判定結果との4つの判定結果に基づいてフィルタタイプを設定する。
具体的には、図6に示されるテーブル(LUT)が制御部16内の記憶部(不図示)に予め記憶されており、第1ノイズ判定処理部301は、図6に示されるテーブルを参照して、前記の4つの判定結果に対応するフィルタタイプを設定するようになっている。つまり、図6は、フィルタタイプと、4つの判定結果(微小振幅候補点判定の判定結果、変化点判定の判定結果、前述のS11の輝度変化急峻判定の判定結果、および前述のS12のモスキート判定の判定結果)との対応関係を示したテーブルである。また、図6において、真は各判定処理で判定されたことを表しており、偽は判定しなかったことを表している。
例えば、図6に示すように、モスキート判定の判定結果が偽、変化点判定の判定結果が偽、微小振幅候補点判定の判定結果が真、輝度変化急峻判定の判定結果が偽である場合、第1ノイズ判定処理部301は、フィルタタイプとしてフラットタイプを設定することになる。
フラットタイプが設定された場合、注目画素が比較的輝度変化の少ないフラットな領域であると判断されたことを意味し、この場合は輝度変化がより均一になるようなフラットな領域向けのフィルタが選択されることを意味する。
また、フィルタタイプとしてピークタイプが設定される場合、注目画素がスパイクノイズ等のピーク領域であると判断されることを意味し、スパイクノイズを低減するようなピーク領域向けのフィルタが選択されることを意味する。
また、フィルタタイプとしてモスキートタイプが設定される場合、注目画素がモスキートノイズの領域であると判断されることを意味し、モスキートノイズを低減するようなモスキートノイズ領域向けのフィルタが選択されることを意味する。
さらに、フィルタタイプとしてノーマルタイプが設定される場合、フラットな領域、ピーク領域、モスキートノイズの領域以外(例えば、適度な輝度変化のあるディテール領域など)に注目画素が属していると判断されることを意味し、ディテール領域等に適したフィルタが選択されることになる。例えば、フラットタイプのフィルタ、ピークタイプのフィルタ、モスキートタイプのフィルタよりも弱い平滑化特性を持ったフィルタがノーマルタイプのフィルタとして選択される。
このようにして注目画素に対してフィルタタイプが設定されるが、その後、第1ノイズ判定処理部301は、下記に示すノイズ可能性判定およびモスキートエリア判定を行うようになっている。
<ノイズ可能性判定>
ノイズ可能性判定は、注目画素の周囲8画素の各々に設定されるフィルタタイプから、注目画素がノイズである可能性を判定するものである。周囲8画素とは、注目画素に隣り合っており、注目画素の上側、左側、右側、下側、左上、右上、右下、左下の画素を指している。
すなわち、第1ノイズ判定処理部301は、注目画素の周囲8画素についても、注目画素と同様に輝度変化急峻判定(S11)、モスキート判定(S12)、微小振幅候補点判定、変化点判定を行うことで、周囲8画素の各々のフィルタタイプを求める(すなわち、注目画素の周囲8画素の各々を注目画素として扱ってS11、S12、微小振幅候補点判定、変化点判定を行うことで、周囲8画素のフィルタタイプを設定するのである)。
そして、注目画素を除いて、周囲8画素のうちフィルタタイプがフラットかピークであるものの数をカウントし、カウント数が予め定められた第7閾値(TH7)以上の場合、第1ノイズ判定処理部301は、注目画素がノイズである可能性があると判定する。
<モスキートエリア判定>
モスキートエリア判定は、注目画素がモスキートエリア(モスキートノイズの生じている領域)に存在するかどうかの判定処理である。具体的には以下のようにして判定を行う。
第1ノイズ判定処理部301は、注目画素と左隣画素と右隣画素(第2ノイズ判定処理部302の処理の場合は注目画素と上隣画素と下隣画素)とについて、S12のモスキート判定にて真と判定されたものの数をカウントする。つまり、第1ノイズ判定処理部301は、P(x,y)、P(x−1,y)、P(x+1,y)について、S12のモスキート判定にて真と判定されたものをカウントする(第2ノイズ判定処理部302の場合、P(x,y)、P(x,y−1)、P(x,y+1)について、S12のモスキート判定にて真と判定されたものをカウントする)。なお、左隣画素、右隣画素の各々についてのモスキート判定(S12)は、前述のノイズ可能性判定の時に実行されている。
第1ノイズ判定処理部301は、カウント数が予め定められた第8閾値(TH8)以上の場合、注目画素がモスキートエリア(モスキートノイズの生じている領域)に存在するものとして真の判定結果を出力し、それ以外の場合、偽の判定結果を出力する。
<フィルタタイプ補正>
第1ノイズ判定処理部301は、現時点で設定されているフィルタタイプがノーマルタイプである場合、必要に応じてフィルタタイプを補正する。
具体的には、フラットタイプのフィルタを優先するフラット優先モードが選択される場合、まず、第1ノイズ判定処理部301は、下記のフラットタイプ最終判定を行い、次に、下記のモスキート最終判定を行うようになっている。これに対し、モスキートタイプのフィルタを優先するモスキート優先モードが選択される場合、まず、第1ノイズ判定処理部301は、下記のモスキートタイプ最終判定を行い、次に、下記のフラット最終判定を行うようになっている。
フラットタイプ最終判定:現時点にて設定されているフィルタタイプがノーマルタイプであり、且つ、ノイズ可能性判定にて注目画素がノイズである可能性があると判定された場合、フィルタタイプをノーマルタイプからフラットタイプに補正し、そうでない場合は補正しない。
モスキートタイプ最終判定:現時点にて設定されているフィルタタイプがノーマルタイプであり、且つ、モスキートエリア判定にて真の判定結果が出力された場合、フィルタタイプをノーマルタイプからモスキートタイプに補正し、そうでない場合は補正しない。
なお、第1ノイズ判定処理部301は、前述のフラット優先モードおよびモスキート優先モードの選択を以下のように行う。例えば、表示対象の映像の映像モードが映画モードの場合、フラット優先モードを示す外部パラメータがレジスタに設定され、前記映像モードがアニメモードの場合にはモスキート優先モードを示す外部パラメータがレジスタに設定され、第1ノイズ判定処理部301は、レジスタに設定されている外部パラメータの示す優先モードを選択するようになっている。なお、映像モードは、ユーザに設定されてもよいし、映像データに組み込まれている情報に応じて制御部16に設定されるものであってもよい。
また、現時点で設定されているフィルタタイプがノーマルタイプ以外であれば、以上のフラットタイプ最終判定およびモスキートタイプ最終判定は行われない。さらに、フラット優先モードであって、フラットタイプ最終判定にてフィルタタイプがノーマルタイプからフラットタイプに変更された場合、現時点で設定されているフィルタがフラットタイプになるのでモスキートタイプ最終判定は打ち切られる。また、モスキート優先モードであって、モスキートタイプ最終判定にてフィルタタイプがノーマルタイプからモスキートタイプに変更された場合、現時点で設定されているフィルタがモスキートタイプになるのでフラットタイプ最終判定は打ち切られる。
あるいは、フラット優先モードおよびモスキート優先モードを並行して行い、外部パラメータがフラット優先モードを示す場合はフラット優先モードの処理結果を選択し、外部パラメータがモスキート優先モードを示す場合はモスキート優先モードの処理結果を選択する形態になっていても構わない。
そして、第1ノイズ判定処理部301は、図3に示すように、現時点で設定されているフィルタタイプ(補正された場合は補正後のフィルタタイプ)を示したフィルタタイプ情報F1を第1フィルタ処理部303に出力する(なお、第2ノイズ判定処理部302は、フィルタタイプ情報F2を第2フィルタ処理部304に出力するようになっている)。
(S14のマスク情報設定)
図4に示すように、第1ノイズ判定処理部301は、S13のフィルタタイプの決定後、最後にマスク情報の設定を行う(S14)。ここでは、後述する混合処理時に用いられる重み係数Wを出力する重み出力部305で使用する複数の情報をマスク情報M1として1つにまとめて出力する。まとめられる情報は、S11の輝度変化急峻判定の判定結果と、S12のモスキート判定の判定結果と、微小振幅候補点判定の判定結果と、変化点判定の判定結果と、モスキートエリア判定の判定結果と、下記のノイズカウント処理の処理結果とである。
そして、第1ノイズ判定処理部301は、図3に示すように、マスク情報M1を重み出力部305へ伝送するようになっている(第2ノイズ判定処理部302も、第1ノイズ判定処理部301と同様にマスク情報M2を生成して重み出力部305へ伝送する)。
<ノイズカウント処理>
ノイズカウント処理とは、注目画素の周囲8画素の各々に対して下記のノイズ判定を行い、且つ、この周囲8画素のうち、このノイズ判定にて真と判定された画素の数をカウントする処理である。なお、ノイズカウント処理の処理対象となる周囲8画素とは、注目画素に隣り合っており、注目画素の上側、左側、右側、下側、左上、右上、右下、左下の画素を指している。
ノイズ判定は、次のように行われる。まず、第1ノイズ判定処理部301は、ノイズ判定の判定対象の画素について行われた微小振幅候補点判定の判定結果と変化点判定の判定結果とを参照する。そして、第1ノイズ判定処理部301は、微小振幅候補点判定の判定結果が真であり且つ変化点判定の判定結果が偽の場合、ノイズ判定の判定対象の画素について、真の判定結果を出力し、それ以外の場合は偽の判定結果を出力する。なお、周囲8画素の各々に対する微小振幅候補点判定および変化点判定は既に行われているため(ノイズ可能性判定の時)、第1ノイズ判定処理部301は、周囲8画素の各々について、ノイズ可能性判定の時に既に行った微小振幅候補点判定の判定結果および変化点判定の判定結果を参照することでノイズ判定を行うことができる。
そして、第1ノイズ判定処理部301は、このノイズ判定にて真と判定された画素の数を、ノイズカウント処理の処理結果として出力する。
第1ノイズ判定処理部301は、このノイズカウント処理の処理結果と、S11の輝度変化急峻判定の判定結果と、S12のモスキート判定の判定結果と、微小振幅候補点判定の判定結果と、変化点判定の判定結果とをまとめた情報をマスク情報M1として重み出力部305に出力する。
(第1および第2フィルタ処理部)
つぎに、第1フィルタ処理部303および第2フィルタ処理部304を説明する。第1フィルタ処理部303は、垂直方向に要素が並んだ1×9の1次元フィルタ(加重平均フィルタ)を用いて、注目画素に対してフィルタ処理を行うものである。
ここで、第1フィルタ処理部303と第2フィルタ処理部304とでは、以下の差異1〜差異3にて示す点が相違するものの、その他の点は同一である。
差異1:第1フィルタ処理部303は垂直方向に要素が並んだ1×9の1次元フィルタ(加重平均フィルタ)を用いるが、第2フィルタ処理部304は水平方向に要素が並んだ9×1の1次元フィルタ(加重平均フィルタ)を用いる点が相違する。
差異2:第1フィルタ処理部303は、第1ノイズ判定処理部301から出力されたフィルタタイプ情報F1を参照してフィルタ係数を設定するのに対し、第2フィルタ処理部304は、第2ノイズ判定処理部302から出力されたフィルタタイプ情報F2を参照してフィルタ係数を設定する点が相違する。
差異3:第1フィルタ処理部303は、エンハンスメント処理部205へ入力する入力輝度信号YINにフィルタ処理を行うのに対し、第2フィルタ処理部304は、第1フィルタ処理部303によるフィルタ処理後の輝度信号YFIL1にフィルタ処理を行うようになっている点が相違する。
そこで、以下の説明では、便宜上、第1フィルタ処理部303のフィルタ処理について説明し、第2フィルタ処理部304のフィルタ処理については詳細を省略するが、第2フィルタ処理部304のフィルタ処理についても、以上の差異1〜3を除いては、以下の第1フィルタ処理部303のフィルタ処理と同様に処理が行われるものとする。
図7は、第1フィルタ処理部303または第2フィルタ処理部304の処理フローである。つまり、第1フィルタ処理部303と第2フィルタ処理部304とでは処理フローが同一である。
図7に示すように、第1フィルタ処理部303は、まず、フィルタ選択処理を行う(S21)。フィルタ選択処理とは、S22のフィルタ処理で使用するフィルタを選択する処理であり、詳細にはフィルタ係数を選択する処理を指す。
つまり、第1フィルタ処理部303は、第1ノイズ判定処理部301から出力されたフィルタタイプ情報F1に示されるフィルタタイプに適合したフィルタ係数を、予めフィルタタイプ毎に設定されているフィルタ係数から選択する。例えば、フィルタタイプとフィルタ係数とを対応付けたテーブルを制御部16の記憶部(不図示)に予め記憶させておき、第1フィルタ処理部303は、フィルタタイプ情報に示されるフィルタタイプに対応付けられているフィルタ係数を前記テーブルから読み出すようになっていてもよい。
また、第1フィルタ処理部303のフィルタ処理では、垂直方向に要素が並んだ1×9の1次元フィルタが用いられる。つまり、第1ノイズ判定処理部301での参照範囲(図5参考)に含まれる各画素を参照して、注目画素に対してフィルタ処理が行われる。
それゆえ、第1フィルタ処理部303は、1次元フィルタにおける9個の係数を選択するようになっている。
ただし、第2フィルタ処理部304のフィルタ処理では、水平方向に要素が並んだ9×1の1次元フィルタが用いられるため、第2ノイズ判定処理部302での参照範囲に含まれる各画素を参照して、注目画素に対してフィルタ処理が行われる。なお、第1フィルタ処理部303または第2フィルタ処理部304にて用いられるフィルタのサイズは適宜変更可能である。
また、フィルタタイプ情報F1に示されるフィルタタイプがモスキートを示している場合、後述するS22にてエッジ保存型フィルタが用いられるようになっていてもよい。この場合には、図8の輝度差・係数テーブル(後述する)を用いることによってS21にて選択されたフィルタ係数を調整し、調整後のフィルタ係数をS22にて用いればよい。なお、モスキートタイプ以外の場合(例えばフラットタイプ)であっても、勿論、エッジ保存型フィルタが用いられるようになっていてもよい。あるいは、モスキートタイプ、または、モスキートタイプ以外の第1所定タイプが判定された場合に、エッジ保存型フィルタが用いられ、モスキートタイプ以外且つ前記第1所定タイプ以外の第2所定タイプが判定された場合に、エッジ保存型フィルタを用いない形態とすることも勿論可能である。
つぎに、S22について説明する。まず、エッジ保存型フィルタを用いない場合について説明する。この場合、第1フィルタ処理部303は、S21にて選択されたフィルタ係数を用いて参照範囲内の各画素の輝度値の加重平均値を求める。具体的には以下の通りである。まず、第1フィルタ処理部303は、図5の参照範囲内の9画素について、S21にて選択されたフィルタ係数の総和を求める。そして、第1フィルタ処理部303は、参照範囲内の画素毎にS21にて選択されたフィルタ係数と輝度値とを乗算し、乗算結果を積算し、積算して得られた値を前記総和で除算する。第1フィルタ処理部303は、除算して得られた値(加重平均値)を、フィルタ処理後の輝度信号YFIL1として出力する。
つぎに、エッジ保存型フィルタを用いる場合のS22の処理を説明する。この場合、第1フィルタ処理部303は、S21にて選択されたフィルタ係数のみならず図8の輝度差・係数テーブルをも用いて、参照範囲内の各画素の輝度値の加重平均値を求める。具体的には以下の通りである。まず、第1フィルタ処理部303は、フィルタ処理において注目画素以外で参照される参照画素毎に(図5の参照範囲内の注目画素以外の画素毎に)、当該参照画素と注目画素との輝度の差分の絶対値(大きさ)を輝度差として算出する。そして、第1フィルタ処理部303は、制御部16の記憶部(不図示)に予め記憶されている輝度差・係数テーブル(図8)を参照し、参照画素毎に、算出された輝度差に対応する調整係数を出力するようになっている。ここで、輝度差・係数テーブルとは、輝度差と調整係数との対応関係を示したテーブル(LUT)であり、輝度差を入力することにより当該輝度差に対応する調整係数を出力できるようになっている。さらに、第1フィルタ処理部303は、参照画素毎に、前記の調整係数とS21にて選択されたフィルタ係数とを乗じた値を確定フィルタ係数として出力する。なお、注目画素については、調整係数を乗じずに、S21にて選択されたフィルタ係数をそのまま確定フィルタ係数とする。そして、第1フィルタ処理部303は、図5の参照範囲内の9画素について確定フィルタ係数の総和を求める。つづいて、第1フィルタ処理部303は、参照範囲内の画素毎に確定フィルタ係数と輝度値とを乗算し、乗算結果を積算し、積算して得られた値を前記総和で除算する。第1フィルタ処理部303は、除算して得られた値(加重平均値)を、フィルタ処理後の輝度信号YFIL1として出力する。
第1フィルタ処理部303は、入力輝度信号YINの全ての画素に対して図7の処理を繰り返し行い、フィルタ処理後の輝度信号YFIL1を出力する。なお、第2フィルタ処理部304は、輝度信号YFIL1に対してフィルタ処理を行って輝度信号YFIL2を出力する。
なお、ここでは、第1フィルタ処理部303が垂直方向に要素の並んだ1次元フィルタを用い、第2フィルタ処理部304が水平方向に要素の並んだ1次元フィルタを用いる例を説明したが、第1フィルタ処理部303が水平方向に要素の並んだ1次元フィルタを用い、第2フィルタ処理部304が垂直方向に要素の並んだ1次元フィルタを用いるようになっていてもよい(つまり、本実施形態では、垂直方向の1次元フィルタでフィルタ処理した後で水平方向の1次元フィルタでフィルタ処理するようになっているが、水平方向の1次元フィルタでフィルタ処理した後で垂直方向の1次元フィルタでフィルタ処理するようになっていてもよい)。
ただし、第1フィルタ処理部303で水平方向の1次元フィルタを用い、第2フィルタ処理部304で垂直方向の1次元フィルタを用いる場合、第1ノイズ判定処理部301においては水平方向に一列に画素が並んだ参照範囲が設定され、第2ノイズ判定処理部302においては垂直方向に一列に画素が並んだ参照範囲(図5参照)が設定されることになる。
また、アルゴリズム的には、垂直方向の1次元フィルタによる処理と水平方向の1次元フィルタによる処理とのどちらが先でもよいが、ハード構成を考えたときには、垂直方向の1次元フィルタによる処理を先に行う方がラインメモリの削減が可能である。
(重み出力部)
つぎに、図3に示されるエンハンスメント処理部205の重み出力部305の処理を説明する。重み出力部305は、第1ノイズ判定処理部301から出力されるマスク情報M1と第2ノイズ判定処理部302から出力されるマスク情報M2とを参照して、混合処理部306にて用いられる重み係数Wを出力するブロックである。
図9は、重み出力部305の処理フローである。重み出力部305は、まず、ノイズ信頼度取得処理を行う(S31)。ノイズ信頼度取得処理とは、ノイズ信頼度を求める処理である。ノイズ信頼度とは、注目画素がノイズであることの信頼度を示す値であり、その値が大きいほど注目画素がノイズである信頼度が高く、その値が小さいほど注目画素がノイズである信頼度が低いことを示している。
以下、S31を詳細に説明する。重み出力部305は、第1ノイズ判定処理部301のマスク情報M1から、ノイズカウント処理のカウント数(COUNT1)を検出し、第2ノイズ判定処理部302のマスク情報M2から、ノイズカウント処理のカウント数(COUNT2)を検出する。
また、重み出力部305は、第1ノイズ判定処理部301のマスク情報M1から、S11の輝度変化急峻判定の判定結果と、S12のモスキート判定の判定結果と、微小振幅候補点判定の判定結果と、変化点判定の判定結果とを検出し、検出した判定結果の組み合わせに対応するマスク値を、制御部16の記憶部(不図示)に保存されているマスク値変換テーブル(図10)を参照して出力する。つまり、図10のマスク値変換テーブルは、S11の輝度変化急峻判定の判定結果とS12のモスキート判定の判定結果と微小振幅候補点判定の判定結果と変化点判定の判定結果との組み合わせと、マスク値との対応関係を示すテーブルである。
さらに、重み出力部305は、第2ノイズ判定処理部302のマスク情報M2から、S11の輝度変化急峻判定の判定結果と、S12のモスキート判定の判定結果と、微小振幅候補点判定の判定結果と、変化点判定の判定結果とを検出し、検出した判定結果の組み合わせに対応するマスク値を、マスク値変換テーブルを参照して出力する。
次に、重み出力部305は、第1ノイズ判定処理部301から出力されるマスク情報M1に示される各判定結果から得られたマスク値(MASK1)に対し、予め定められているマスク値用重み係数を乗算し、乗算結果を第1ノイズ判定値(NOISE1)として出力する。また、重み出力部305は、第2ノイズ判定処理部302から出力されるマスク情報M2に示される各判定結果から得られたマスク値(MASK2)に対し、前記のマスク値用重み係数を乗算し、乗算結果を第2ノイズ判定値(NOISE2)として出力する。なお、マスク用重み係数は、制御部16の記憶部(不図示)に予め記憶されていてもよいし、レジスタなどに外部パラメータとして予め記憶されていてもよい。
そして、重み出力部305は、第1ノイズ判定処理部301のマスク情報M1から得られたカウント数(ノイズカウント処理のカウント数)と、前記の第1ノイズ判定値と、第2ノイズ判定処理部302のマスク情報M2から得られたカウント数と、前記の第2ノイズ判定値とを積算(加算)した値(総和)をノイズ信頼度として出力する。つまり、下記の式によってノイズ信頼度を算出する。
ノイズ信頼度=COUNT1+COUNT2+NOISE1+NOISE2
図9のS31にてノイズ信頼度を出力した後、重み出力部305は、重み係数取得処理を行う(S32)。重み係数取得処理では、重み出力部305は、制御部16の記憶部(不図示)に記憶されている重み係数テーブル(図11)を参照して、S31にて出力したノイズ信頼度に対応する重み係数Wを取得する。重み係数テーブルは、図11に示すように、ノイズ信頼度と重み係数Wとの対応関係を示したテーブル(LUT)である。
すなわち、重み出力部305は、S31において、S32にて参照する参照インデックスとしてノイズ信頼度を取得して、S32において、ノイズ信頼度をアドレスとして、図11に示される重み係数テーブルを参照して重み係数Wを取得するようになっている。
ここで、図11の重み係数テーブルによれば、ノイズ信頼度の値が大きいほど重み係数Wが小さくなり、ノイズ信頼度の値が小さいほど重み係数Wが大きくなっていることがわかる。この理由を以下説明する。
前記のカウント数(COUNT1,COUNT2)はノイズカウント処理のカウント数であり、カウント数が大きいほど、各種ノイズである可能性が高い。また、図10のテーブルにおいて、0を示すマスク値は、各種ノイズである可能性が低い判定結果の組み合わせに対応付けられており、1を示すマスク値は、各種ノイズである可能性が高い判定結果の組み合わせに対応付けられている(後述する混合処理時の重み係数を小さくしたい判定結果の組み合わせに対応付けられている)。それゆえ、マスク値を乗算して得られる第1ノイズ判定値および第2ノイズ判定値は、ノイズの可能性の高さを示している値といえる(0以外の場合は0の場合よりもノイズの可能性が高い)。
そして、ノイズ信頼度は、ノイズとカウントされたカウント数と、注目画素のノイズの可能性の高さを示した第1ノイズ判定値および第2ノイズ判定値とを加算したものである。よって、ノイズ信頼度は、注目画素がどれだけノイズらしいかを表しており、その値が大きいほど、各種ノイズである可能性が高い。よって、ノイズ信頼度の値が大きいほど、後述する混合処理時の重み係数Wを小さくすることで、混合処理でノイズが復活することを抑制すべきである。したがって、図11に示すように、ノイズ信頼度の値が小さいほど重み係数Wが大きくなり、ノイズ信頼度の値が大きいほど重み係数Wが小さくなるように、重み付けテーブルが設定されるのである。
図9のS32にて重み係数Wを取得した後、重み出力部305は、重み係数確定処理を行う(S33)。
具体的に、重み出力部305は、第1ノイズ判定処理部301のマスク情報M1からモスキートエリア判定の判定結果を取得し、第2ノイズ判定処理部302のマスク情報M2からモスキートエリア判定の判定結果を取得する。
そして、重み出力部305は、以下の条件1が当てはまり且つ条件2も当てはまる場合、注目画素がモスキートノイズである可能性が極めて高いことが考えられ、S32にて設定した重み係数Wを、モスキート用の重み係数Wに変更し、変更後の重み係数Wを最終的な重み係数Wとして確定する。なお、モスキート用の重み係数Wは、混合処理でモスキートノイズが復活することを抑制するために予め設定されている値であり、相対的に低値に設定されている(例えば1)。
条件1:第1ノイズ判定処理部301のマスク情報M1から取得したモスキートエリア判定の判定結果が真、または、第2ノイズ判定処理部302のマスク情報M2から取得したモスキートエリア判定の判定結果が真である。
条件2:S32にて設定された重み係数Wが第9閾値(TH9)よりも大きい。
これに対し、重み出力部305は、条件1および条件2のうちの少なくともいずれか一方が当てはまらない場合、S32にて設定した重み係数Wを最終的な重み係数Wとして確定する。
そして、重み出力部305は、図3に示されるように、確定した重み係数Wを混合処理部306へ出力するようになっている。
(混合処理部)
つぎに、図3のエンハンスメント処理部205の混合処理部306の処理を説明する。混合処理部306は、入力輝度信号YINと第2フィルタ処理部304によるフィルタ処理後の輝度信号YFIL2との差分値をディテール強調成分DDIFFとして求め、重み出力部305にて求めた重み係数Wと所定のゲインGとを用いることで、フィルタ処理後の輝度信号YFIL2にディテール強調成分DDIFFを混合する混合処理を行うものである。
図12は、混合処理部306の処理フローである。図12に示すように、混合処理部306は、まず、戻し量計算を行う(S41)。戻し量とは、混合処理において輝度信号YFIL2に戻されるディテール強調成分を指し、DDIFF×Wで求められる。
すなわち、混合処理部306は、入力輝度信号YINと第2フィルタ処理部304によるフィルタ処理後の輝度信号YFIL2とを入力し、入力輝度信号YINと輝度信号YFIL2との差分値をディテール強調成分DDIFFとして求め、DDIFFに対して重み出力部305にて求めた重み係数Wをかけることで、戻し量(DDIFF×W)を求める。
また、混合処理部306は、S41にて戻し量(DDIFF×W)を求めると、戻し量に対し第1クリッピング処理を行う(S42)。
第1クリッピング処理とは、図13に示すように、S41で求めた戻し量(DDIFF×W)が−LL〜LLの範囲の値である場合、戻し量を0にクリップし、S41で求めた戻し量が−UL以下の範囲の値である場合、戻し量を−ULにクリップし、S41で求めた戻し量(DDIFF×W)がUL以上の範囲の値である場合、戻し量をULにクリップする処理である。
なお、LL、ULは、レジスタなどに外部パラメータとして予め記憶されている値であり、混合処理部306は、この値を用いて第1クリッピング処理を行うのである。あるいは、図13の関係をテーブルとして制御部16の記憶部に記憶させておき、テーブルを参照して第1クリッピング処理を行うようになっていてもよい。
第1クリッピング処理を行う理由は以下の通りである。前記戻し量は、平滑化処理された画像(輝度信号YFIL2)に対して、ディテール強調成分をどのくらい戻すかを示す量であり、この戻し量のディテール強調成分を平滑化された画像に戻すことによって、平滑化処理で消えてしまったディテール成分を復活させることが可能である。ただし、−LL〜LLのように、ディテール強調成分が弱すぎる場合は、微小な輝度変化を連続フレームで見た場合に、ちらつきやノイズなどとして見える原因にもなるので、ディテール強調成分を戻さないように戻し量を0に変換し、また、UL以上や−UL以下の場合は、ディテール強調成分が強すぎて、オーバーシュートやアンダーシュートなどを引き起こす可能性があるため、戻し量をULまたは−ULに変換してオーバーシュートやアンダーシュートを抑制する。
図12のS42の後、混合処理部306は、混合処理を行う(S43)。混合処理は、輝度信号YFIL2に基づいてゲインGを定め、ゲインGを用いて戻し量を調整することで調整済戻し量(補正輝度差分値)CYDIFFを求め、調整済戻し量CYDIFFを輝度信号YFIL2に加算し、加算して得られる値をエンハンスメント処理結果YTMPとして出力する処理である。
ここで、戻し量は以下のようにして調整される。図14に示されるように、輝度信号YFIL2とゲインGとの対応関係を予め定めておき、混合処理部306は、輝度信号YFIL2に対応するゲインGを戻し量(DDIFF×W)に掛け、ゲインGと戻し量(DDIFF×W)とを掛けて得られる値を調整済戻し量CYDIFFとして出力する。
なお、図14に示される輝度信号YFIL2とゲインGとの対応関係は以下のとおりである。輝度信号YFIL2が区間A(Y0以下)に属する場合にはゲインGは固定値G0になる。輝度信号YFIL2が区間B(Y0を越えてY1までの間)に属する場合、輝度信号YFIL2とゲインGとの関係を示した傾きS0の1次関数によって輝度信号YFIL2に対応するゲインGが出力される(輝度信号YFIL2がY0ではゲインGはG0となり、輝度信号YFIL2がY1ではゲインGはG1となる)。輝度信号YFIL2が区間C(Y1からY2の間)に属する場合、ゲインGは固定値G1になる。輝度信号YFIL2が区間D(Y2を越えてY3までの間)に属する場合、輝度信号YFIL2とゲインGとの関係を示した傾きS1の1次関数によって輝度信号YFIL2に対応するゲインGが出力される(輝度信号YFIL2がY2ではゲインGはG1となり、輝度信号YFIL2がY3ではゲインGはG2となる)。輝度信号YFIL2が区間E(Y3以上)に属する場合、ゲインGは固定値G2になる。
なお、図14に示されるY0、Y1、Y2、Y3、G0、G1、G2、S0、S1は、それぞれ、レジスタなどに外部パラメータとして予め記憶されている値であり、混合処理部306は、この値を用いて図14に示される輝度信号YFIL2とゲインGとの対応関係を求め、輝度信号YFIL2に対応するゲインGを検出するようになっている。あるいは、図14に示される対応関係をテーブルとして制御部16の記憶部に記憶させておき、テーブルを参照してゲインGを求めるようになっていてもよい。
図14に示されるゲインGを用いて戻し量を調整する理由を説明する。まず、図14において、区間Aのような輝度の小さな部分では、ディテール強調成分の戻し量をあまりに多く戻すとアンダーシュートになったりする可能性があるので、あまり大きなゲインにはせず、そこからある程度の輝度(Y0)以上になったら、徐々にゲインを上げていき、中間輝度ではディテール強調成分の戻し量を多めに戻すようにする。更に輝度値が高くなりY2を過ぎたら、今度は徐々に下げていき、Y3以上の輝度値が大きな部分では、オーバーシュートになりにくいようにゲインを低めに設定する。これによって、最もディテール成分を戻したい中間輝度のところを強めに戻し、それ以外のところを弱めにすることで、アンダーシュートやオーバーシュートのようなアーティファクトの発生を抑えることが可能となる。
図12のS43の後、混合処理部306は、第2クリッピング処理を行う(S44)。第2クリッピング処理は、エンハンスメント処理結果YTMPに対して予め設定された下限値と上限値とでクリッピングする処理である。つまり、エンハンスメント処理結果YTMPが上限値を超えていると上限値に変換され、エンハンスメント処理結果YTMPが下限値を下回っていると下限値に変換される。この第2クリッピング処理は、ゲインGを用いて調整した調整済戻し量CYDIFFを輝度信号YFIL2に戻した際に、オーバーシュートやアンダーシュートが起こってしまった場合、その部分をクリップ処理することでオーバーシュートやアンダーシュートを抑制するために行うものである。
混合処理部306は、S44の後、エンハンスメント処理結果YTMPを出力輝度信号YOUTとして出力する。出力輝度信号YOUTはエンハンスメント処理部205からカラー調整処理部206に伝送されることになる。
以上のエンハンスメント処理部205の構成によれば、まず、第1フィルタ処理部303および第2フィルタ処理部304において、ノイズと判定された部分を中心にノイズが低減されるように平滑化処理を行う事で輝度信号YFIL2が出力される。その後、ノイズの可能性の低い画素(ディテール成分の可能性の高い画素)について、DDIFF(入力輝度信号YINと輝度信号YFIL2との差分)にかけられる重み係数Wを重くして戻し量(DDIFF×W)を出力し、戻し量をゲインGで調整して輝度信号YFIL2に戻すことにより、ノイズだけを極力強調することなく、ディテール感を向上させることが可能となる。
(具体例)
つぎに、具体的な値を用いることで、以上にて示したエンハンスメント処理部205の処理を、より詳細に説明する。
図15は、入力輝度信号YINに示される入力画像の各画素の位置および輝度値(画素値)を示した図である。なお、図15において太い黒枠で囲んだ画素を注目画素Aとして説明する。
最初に、第1ノイズ判定処理部301が、入力輝度信号YINを処理対象として、図15の注目画素Aを含む参照範囲(図5参照)を設定して、下記に示すように、隣接差分、隣接差分の大きさ、隣接差分の和の大きさを計算する。
垂直方向の隣接差分
dPR43=151−151=0
dPR32=151−151=0
dPR21=151−152=−1
dPR10=152−115=37
dNX01=115−151=−36
dNX12=151−150=1
dNX23=150−136=14
dNX34=136−150=−14
隣接差分の大きさ
dAPR43=0
dAPR32=0
dAPR21=1
dAPR10=37
dANX01=36
dANX12=1
dANX23=14
dANX34=14
隣接差分の和の大きさ
sumAPR3=0
sumAPR2=1
sumAPR1=36
sumACNT=1
sumANX1=35
sumANX2=15
sumANX3=0
そして、第1ノイズ判定処理部301は、隣接差分、隣接差分の大きさ、隣接差分の和の大きさの値を用いて、以下のように各判定を行う。
<第1予備判定>
dAPR10=37≠0、dANX01=36≠0であるため、第1ノイズ判定処理部301は、注目画素Aが非平坦部であると判定する。
<第2予備判定>
dAPR10=37≠0、dANX01=36≠0であるため、第1ノイズ判定処理部301は、注目画素Aがエッジ開始部であると判定しない。
<第3予備判定>
dAPR10+dANX01=73、sumACNT=1で、APR10+dANX01がsumACNTより大きいため、第1ノイズ判定処理部301は、注目画素Aが頂点部であると判定する。
<輝度変化急峻判定>
「第1予備判定にて注目画素が非平坦部と判定され且つ第2予備判定にて注目画素がエッジ開始点と判定された」という条件を満たさないが、「第3予備判定にて注目画素が頂点部であると判定された」という条件を満たすため、第1ノイズ判定処理部301は、注目画素Aが輝度変化急峻領域に属する可能性があると判定する(真の判定結果を出力する)。
<第4予備判定>
PRASum=0+0+1+37=38
NXASum=36+1+14+14=65
ここで、TH1=63であったとすると、PRASum<TH1であり、NXASum>TH1であるため、第1ノイズ判定処理部301は、注目画素Aを、モスキートノイズの発生している可能性のある平坦部と判定する(真の判定結果を出力する)。
<第5予備判定>
ALLASum=38+65=103
ここで、TH2=32であったとすると、ALLASum>TH2であるので、第1ノイズ判定処理部301は、モスキートノイズが発生している可能性があると判定する(真の判定結果を出力する)。
<第6予備判定>
ALLAMAX=37
ここで、TH3=32であったとすると、ALLAMAX>TH3であるので、第1ノイズ判定処理部301は、モスキートノイズが発生している可能性があると判定する(真の判定結果を出力する)。
<第7予備判定>
TH4=63であったとすると、dAPR10=37、dANX01=36で、dANX01よりもdAPR10の方が大きく、また、dAPR10<TH4であるので、第1ノイズ判定処理部301は、注目画素Aをモスキート候補点であると判定する(真の判定結果を出力する)。
<モスキート判定>
第4予備判定、第5予備判定、第6予備判定、第7予備判定の判定結果がいずれも真であることから、第1ノイズ判定処理部301は注目画素Aをモスキート画素であると判定する(真の判定結果を出力する)。
<微小振幅候補点判定>
TH5=6であったとすると、dAPR10=37、dANX01=36で、dANX01よりもdAPR10の方が大きく、また、dAPR10>TH5であるので、第1ノイズ判定処理部301は、注目画素Aを微小振幅候補点と判定しない(偽の判定結果を出力する)。
<変化点判定>
TH6=64であったとすると、ALLASum=103であり、ALLASum>TH6であるので、第1ノイズ判定処理部301は、注目画素Aを画素の変化点と判定する(真の判定結果を出力する)。
<フィルタタイプ設定>
輝度変化急峻判定の判定結果が真、モスキート判定の判定結果が真、微小振幅候補点判定の判定結果が偽、変化点判定の判定結果が真となったので、第1ノイズ判定処理部301は、図6に示されるテーブルを参照して、注目画素Aのフィルタタイプとしてモスキート(MOSQ)を設定する。
<ノイズ可能性判定>
第1ノイズ判定処理部301は、注目画素Aの周囲8画素の各々についても、注目画素Aと同様に、輝度変化急峻判定(S11)、モスキート判定(S12)、微小振幅候補点判定、変化点判定を行うことで、周囲8画素の各々のフィルタタイプを求める。ここでは、左上画素はピーク(PEAK)、上側画素(直上の画素)はモスキート(MOSQ)、右上画素はフラット(FLAT)、左側画素はピーク(PEAK)、右側画素はピーク(PEAK)、左下画素はピーク(PEAK)、下側画素(直下の画素)はモスキート(MOSQ)、右下画素はノーマル(NORM)となる。
つぎに、第1ノイズ判定処理部301は、注目画素Aを除く周囲8画素のうちPEAKまたはFLATである画素をカウントして、N_COUNT=5を出力する。ここで、TH7=4であったとすると、N_COUNT>TH7であるので、第1ノイズ判定処理部301は、注目画素Aがノイズの可能性があると判定する。
<モスキートエリア判定>
続いて、第1ノイズ判定処理部301は、注目画素Aと、注目画素Aの左隣の左側画素と、注目画素Aの右隣の右側画素とについて、モスキート判定(S12)で真の判定結果が出力された数をカウントして、M_COUNT=1となる。ここで、TH8=1であったとすると、M_COUNT>=TH8であるので、第1ノイズ判定処理部301は、注目画素Aをモスキートエリアに存在すると判定する。
<フィルタタイプの補正について>
注目画素AのフィルタタイプがNORMではないため、第1ノイズ判定処理部301は、フラットタイプ最終判定およびモスキートタイプ最終判定(フィルタタイプの結果を補正するかどうかの判定)を行わず、フィルタタイプMOSQを示したフィルタタイプ情報F1を第1フィルタ処理部303へ出力する。
<ノイズカウント処理>
第1ノイズ判定処理部301は、注目画素Aの周囲8画素についてノイズ判定を行い、真の判定結果をカウントする。
具体的には、注目画素Aの周囲8画素の各々についてノイズ判定を行うと、左上画素、右上画素、左側画素、右側画素、左下画素の5画素の判定結果が真となり、この真となった数をカウントすると、COUNT=5となる。
第1ノイズ判定処理部301は、ノイズカウント処理の処理結果(COUNT=5)、モスキートエリア判定の判定結果(真)、輝度変化急峻判定の判定結果(真)、微小振幅候補点判定の判定結果(偽)、変化点判定の判定結果(真)、モスキート判定の判定結果(真)をまとめたマスク情報M1を作成し、このマスク情報M1を重み出力部305へ出力する。
第1ノイズ判定処理部301は、以上のように、垂直方向に画素が並ぶ参照範囲(図5参照)について、隣接差分の大きさおよび隣接差分の和の大きさを算出し、これらの値を用いて、以上にて示した各種判定を行うものである。
これに対し、第2ノイズ判定処理部302は、水平方向に画素が並ぶ参照範囲について、隣接差分の大きさおよび隣接差分の和の大きさを算出し、これらの値を用いて、第1ノイズ判定処理部301が行った各種判定と同様の判定を行う。ここでは、第2ノイズ判定処理部302は、注目画素のフィルタタイプとしてNORMを最初に設定するものの、モスキートタイプ優先モードによるモスキートタイプ最終判定により、フィルタタイプをNORMからMOSQに補正する。つまり、第2ノイズ判定処理部302は、フィルタタイプMOSQを示したフィルタタイプ情報F2を第2フィルタ処理部304へ出力する。また、第2ノイズ判定処理部302は、ノイズカウント処理の処理結果(COUNT=2)、モスキートエリア判定の判定結果(真)、輝度変化急峻判定の判定結果(真)、微小振幅候補点判定の判定結果(偽)、変化点判定の判定結果(真)、モスキート判定の判定結果(偽)をまとめたマスク情報M2を作成し、このマスク情報M2を重み出力部305へ出力する。
<フィルタ処理>
つぎに、垂直方向に要素の並ぶ1次元フィルタを利用する第1フィルタ処理部303のフィルタ処理を説明する。なお、第2フィルタ処理部304は、1次元フィルタの要素の並ぶ方向が水平であるという点が第1フィルタ処理部303と異なるだけであり、その他の点については第1フィルタ処理部303と同じであるため、その説明を省略するが、以下の第1フィルタ処理部303の処理と同様に、第2フィルタ処理部304も処理を行う。
ピーク(PEAK)、フラット(FLAT)、モスキート(MOSQ)、ノーマル(NORM)の各フィルタタイプ用のフィルタ係数を制御部16の記憶部(不図示)に予め記憶させておく。各フィルタ係数は以下の通りである。また、ここに示す各フィルタ係数は、実際のフィルタ処理時において使用されるフィルタ係数に1024を掛けた値になっており、フィルタ処理を行う際には1024で割ること(シフト演算)が必要になる。
PEAK用フィルタ係数:{256,176,112,64,32}
FLAT用フィルタ係数:{512,128,64,32,32}
MOSQ用フィルタ係数:{210,184,127,68,28}
NORM用フィルタ係数:{768,96,32,0,0}
これら各フィルタ係数は、何れも平滑化特性を持つが、FLAT用やNORM用フィルタ係数のフィルタは、ほぼ注目画素付近の画素に対して重み付けされた平滑化フィルタであるのに対して、PEAK用やMOSQ用フィルタ係数のフィルタは、注目画素から離れた画素までを含めて重み付けされた平滑化フィルタになっている。これにより、FLAT用やNORM用フィルタ係数を用いれば、ほぼ隣り合った画素同士の輝度値を近づけるような結果となり、PEAK用やMOSQ用フィルタ係数を用いれば、ノイズを低減させ、注目画素の輝度値を周辺の輝度値に近づけるような結果となる。
FLAT用フィルタ係数、NORM用フィルタ係数の違いは、平滑化の影響を受ける画素の割合が若干異なる程度であり、また、PEAK用フィルタ係数、MOSQ用フィルタ係数の違いは、平滑化の強度が互いに若干異なる程度である。
また、第1フィルタ処理部303にて用いられるフィルタは、1×9のサイズの係数を持つフィルタである。注目画素および参照画素の座標値を図5のように設定する場合、前述したフィルタ係数における最も左側の数値(PEAK用では256)はP(x,y)に対する係数、左側から2番目の数値(PEAK用では176)はP(x,y−1)とP(x,y+1)とに対する係数、左側から3番目の数値(PEAK用では112)はP(x,y−2)とP(x,y+2)とに対する係数、左側から4番目の数値(PEAK用では64)はP(x,y−3)とP(x,y+3)とに対する係数、左側から5番目の数値(PEAK用では32)はP(x,y−4)とP(x,y+4)とに対する係数を表す。
なお、第2フィルタ処理部304の処理の場合、前述したフィルタ係数における最も左側の数値(PEAK用では256)はP(x,y)に対する係数、左側から2番目の数値(PEAK用では176)はP(x−1,y)とP(x+1,y)とに対する係数、左側から3番目の数値(PEAK用では112)はP(x−2,y)とP(x+2,y)とに対する係数、左側から4番目の数値(PEAK用では64)はP(x−3,y)とP(x+3,y)とに対する係数、左側から5番目の数値(PEAK用では32)はP(x−4,y)とP(x+4,y)とに対する係数を表す。
第1フィルタ処理部303は、注目画素Aに、第1ノイズ判定処理部301にて設定されたフィルタタイプのフィルタ係数を用いてフィルタ処理を行う。
ここで、図16(a)は、今まで述べてきた注目画素Aと、その周辺の複数の画素とについて、フィルタタイプの判定結果を示している。PはPEAK、FはFLAT、MはMOSQ、NはNORMを表す。図16(a)に示されるフィルタタイプに従って、図15の画像について、垂直方向の1次元フィルタを用いて各画素を順に注目画素としてフィルタ処理を行っていくと、図16(b)のようになる。また、図16(b)に示される状態の注目画素Aに対して水平方向の1次元フィルタを用いてフィルタ処理を行うと、図16(c)の結果となる。この場合のフィルタ演算例を以下に示す。
<フィルタ演算例>
図15に示される状態の注目画素Aに対して垂直方向の1次元フィルタを用いてフィルタ処理を行って図16(b)の結果(YFIL1)が出力される際の計算を以下説明する。
まず、図16(a)に示すように、注目画素のフィルタタイプはモスキートタイプであるため、MOSQ用フィルタ係数がベースとなるフィルタ係数として選択される。
そして、フィルタタイプがモスキートタイプである場合、エッジ保存型フィルタが用いられるため、MOSQ用フィルタ係数に対して輝度差に応じた調整係数を乗じることによって確定フィルタ係数を出力する(調整係数は図8の特性を持ったLUTを参照して決定される)。具体的には、参照範囲内の各画素について、以下のように確定フィルタ係数が出力される。
P(x,y):注目画素用であるため、調整係数を用いずに、ベースとなるフィルタ係数(=210)が確定フィルタ係数として出力される。
P(x,y−1):輝度差が|115−152|であるため、(184×0.9)が確定フィルタ係数として出力される。
P(x,y−2):輝度差が|115−151|であるため、(127×0.9)が確定フィルタ係数として出力される。
P(x,y−3):輝度差が|115−151|であるため、(68×0.9)が確定フィルタ係数として出力される。
P(x,y−4):輝度差が|115−151|であるため、(28×0.9)が確定フィルタ係数として出力される。
P(x,y+1):輝度差が|115−151|であるため、(184×0.9)が確定フィルタ係数として出力される。
P(x,y+2):輝度差が|115−150|であるため、(127×0.9)が確定フィルタ係数として出力される。
P(x,y+3):輝度差が|115−136|であるため、(68×0.95)が確定フィルタ係数として出力される。
P(x,y+4):輝度差が|115−150|であるため、(28×0.9)が確定フィルタ係数として出力される。
つぎに、確定フィルタ係数の総和を求め、確定フィルタ係数の総和を用いてYFIL1を以下のように求める。
確定フィルタ係数の総和=210+184×0.9+127×0.9+68×0.9+28×0.9+184×0.9+127×0.9+68×0.95+28×0.9
=946
FIL1={115×210+152×184×0.9+151×127×0.9+
151×68×0.9+151×28×0.9+151×184×0.9+150
×127×0.9+136×68×0.95+150×28×0.9}/(確定フィルタ係数の総和)=142
なお、YFIL1の演算結果(142)は小数第1位が四捨五入された値である。
また、図16(b)に示される状態の注目画素Aに対して水平方向の1次元フィルタを用いてフィルタ処理を行って図16(c)の結果(YFIL2)が出力される際の計算を以下説明する。
まず、水平方向も注目画素のフィルタタイプはモスキートタイプであるため、MOSQ用フィルタ係数がベースとなるフィルタ係数として選択される。
そして、フィルタタイプがモスキートタイプである場合、エッジ保存型フィルタが用いられるため、参照範囲内の各画素について、以下のように確定フィルタ係数が出力される。
P(x,y):注目画素用であるため、調整係数を用いずに、ベースとなるフィルタ係数(=210)が確定フィルタ係数として出力される。
P(x−1,y):輝度差が|142−150|であるため、(184×0.99)が確定フィルタ係数として出力される。
P(x,y−2):輝度差が|142−150|であるため、(127×0.99)が確定フィルタ係数として出力される。
P(x,y−3):輝度差が|142−151|であるため、(68×0.99)が確定フィルタ係数として出力される。
P(x,y−4):輝度差が|142−82|であるため、(28×0.7)が確定フィルタ係数として出力される。
P(x,y+1):輝度差が|142−149|であるため、(184×0.99)が確定フィルタ係数として出力される。
P(x,y+2):輝度差が|142−135|であるため、(127×0.99)が確定フィルタ係数として出力される。
P(x,y+3):輝度差が|142−136|であるため、(68×0.99)が確定フィルタ係数として出力される。
P(x,y+4):輝度差が|142−148|であるため、(28×0.99)が確定フィルタ係数として出力される。
そして、確定フィルタ係数の総和を求め、確定フィルタ係数の総和を用いてYFIL2を以下のように求める。
確定フィルタ係数の総和=210+184×0.99+127×0.99+68×0.99+28×0.7+184×0.99+127×0.99+68×0.99+28×0.99=1008
FIL2={142×210+150×184×0.99+150×127×0.99+151×68×0.99+82×28×0.7+149×184×0.99+135×127×0.99+136×68×0.99+148×28×0.99}/(確定フィルタ係数の総和)=144
なお、YFIL2の演算結果(144)は小数第1位が四捨五入された値である。
他の画素についても同様に処理を行っていく。
<重み出力>
つぎに、重み出力部305の処理を説明する。重み出力部305は、第1ノイズ判定処理部301から出力されたマスク情報M1から、輝度変化急峻判定の判定結果(真)、微小振幅候補点判定の判定結果(偽)、変化点判定の判定結果(真)、モスキート判定の判定結果(真)を取り出し、取り出した判定結果と図10に示されるマスク値変換テーブルとから、マスク値1を特定し、MASK1=1を出力する。なお、MASK1とは、第1ノイズ判定処理部301から出力されたマスク情報M1に基づいて得られるマスク値を指す。
同様に、重み出力部305は、第2ノイズ判定処理部302から出力されたマスク情報M2から、輝度変化急峻判定の判定結果(真)、微小振幅候補点判定の判定結果(偽)、変化点判定の判定結果(真)、モスキート判定の判定結果(偽)を取り出し、取り出した判定結果と図10に示されるマスク値変換テーブルとから、マスク値0を特定し、MASK2=0を出力する。なお、MASK2とは、第2ノイズ判定処理部302から出力されたマスク情報M2に基づいて得られるマスク値を指す。
つぎに、重み出力部305は、MASK1に対してマスク値用重み係数を乗じることで注目画素の第1ノイズ判定値(NOISE1)を出力する。ここで、マスク値用重み係数は1に設定されているものとする。そして、MASK1=1であることから、NOISE1=1が出力される。なお、マスク用重み係数は1であるが、注目画素に対する各種判定(S11,S12,変化点判定,微小振幅候補点判定)の結果を、近隣画素を用いたノイズカウント処理の結果よりも重視する場合には、マスク用重み係数を大きく設定すればよい(例えば3など)。
同様に、重み出力部305は、MASK2に対してマスク値用重み係数を乗じることで注目画素の第2ノイズ判定値(NOISE2)を出力する。MASK2=0、マスク用重み係数は1であることから、NOISE2=0となる。
また、重み出力部305は、第1ノイズ判定処理部301から出力されたマスク情報M1から、ノイズカウント処理の処理結果(COUNT=5)を参照し、この処理結果に基づいてCOUNT1=5を出力する。また、重み出力部305は、第2ノイズ判定処理部302から出力されたマスク情報から、ノイズカウント処理の処理結果(COUNT=2)を参照し、この処理結果に基づいてCOUNT2=2を出力する。なお、COUNT1とは、第1ノイズ判定処理部301から出力されたマスク情報M1に基づいて得られるカウント値を指し、COUNT2とは、第2ノイズ判定処理部302から出力されたマスク情報M2に基づいて得られるカウント値を指すものである。
重み出力部305は、NOISE1、NOISE2、COUNT1、COUNT2を積算(加算)することにより、図11の重み係数テーブルから重み係数Wを算出する際のインデックスとして使用するノイズ信頼度(Idx)を求める。
Idx=NOISE1+NOISE2+COUNT1+COUNT2
=1+0+5+2=8
Idx=8となるため、図11より重み係数Wは3となる。
つぎに、重み出力部305は、S33の重み係数確定処理(図9を参照)を行う。例えば、TH9=0.5とすると、第1ノイズ判定処理部301から出力されたマスク情報M1に含まれるモスキートエリア判定の判定結果が真、または、第2ノイズ判定処理部302から出力されたマスク情報M2のモスキートエリア判定の判定結果が真であり、且つ、重み係数W>TH9であるため、図11より求めた重み係数(W=3)を、予め設定されているモスキート用の重み係数(W=0.5)に変更して出力するようになっている。
<混合処理>
次に、混合処理部306の処理を説明する。ディテール強調成分(DDIFF)に重み係数Wを掛けた戻し量は次のようになる。
DIFF×W=(115−144)×0.5=−15(小数部四捨五入)
戻し量(DDIFF×W)を求めた後、混合処理部306は、図13に示されるように第1クリッピング処理を行う。ここでは、LL=0、UL=255であるため、戻し量(DDIFF×W)は、クリッピングされず、そのままの値が維持される。
つぎに、混合処理部306は、図14に示される関係を用いて、YFIL2からゲインGを決定する。なお、図14の各値は、Y0=16,Y1=72,Y2=181,Y3=235,G0=0.5,G1=1.0,G2=0.25,S0=0.0089286,S1=−0.01389と設定されているとする。この場合、第2フィルタ処理部304から出力された輝度信号YFIL2は139なので、区間Cに当てはまり、G=G1=1.0となる。
よって、混合処理部306は、調整済戻し量(補正輝度差分値)CYDIFFを次のようにして求める。
CYDIFF=DDIFF×W×G=−15×1.0=−15
混合処理部306は、調整済戻し量CYDIFFを、第2フィルタ処理部304にてフィルタ処理された輝度信号YFIL2に加算し、エンハンスメント処理結果YTMPを求める。
TMP=YFIL2+CYDIFF=144−15=129
混合処理部306は、最後に第2クリッピング処理を行う。ここでは、第2クリッピング処理において下限値が0に設定され且つ上限値が255に設定されているとすると、エンハンスメント処理結果YTMPは範囲内に収まっているため、クリッピングされずに、YOUT=YTMPとして出力される。
以上にて説明した処理を、入力された各フレームの各画素に対して順次行うことにより、入力画像データを拡大表示する際に目立ってしまうセンサーノイズや圧縮ノイズを極力強調することなく、ディテール感を向上させることが可能となる。
〔実施形態2〕
つぎに実施形態2を説明する。実施形態2のテレビ放送受信装置1は、エンハンスメント処理部の内部のみが実施形態1のものと異なるだけであり、他は実施形態1のものと同様の構成である。そこで、以下では、実施形態1と異なる点を中心に説明し、実施形態1と同じブロック(構成部材)については、実施形態1のものと同じ符号と付して、その説明を極力省略することとする。
図17は、実施形態2のエンハンスメント処理部205aの概略構成を示したブロック図である。同図に示すように、エンハンスメント処理部205aは、第1ノイズ判定処理部301、第2ノイズ判定処理部302、第1フィルタ処理部303、第2フィルタ処理部304a、重み出力部305、輪郭強調処理部310a、および、混合処理部306aを備えている。
第1ノイズ判定処理部301、第2ノイズ判定処理部302、第1フィルタ処理部303、重み出力部305は、各々、実施形態1のものと同じであるため、その説明を省略する。
第2フィルタ処理部304aは、その処理内容自体は実施形態1の第2フィルタ処理部304と同じである。但し、実施形態1の第2フィルタ処理部304は、図3のように、処理結果であるYFIL2を混合処理部306のみに出力するが、実施形態2の第2フィルタ処理部304aは、図17のように、処理結果であるYFIL2を混合処理部306aのみならず輪郭強調処理部310aにも出力する点で実施形態1の第2フィルタ処理部304と異なるのである。
輪郭強調処理部310aは、第2フィルタ処理部304aから入力した輝度信号YFIL2に対して輪郭強調処理(輪郭部を強調する成分を出力する処理)を行うブロックである。そして、輪郭強調処理部310aは、輪郭強調処理するための輝度信号であるエッジ強調成分YDIFFを混合処理部306aに送信するようになっている。
混合処理部306aは、入力輝度信号YINとフィルタ処理後の輝度信号YFIL2との差分であるディテール強調成分DDIFFを求め、ディテール強調成分DDIFFおよびエッジ強調成分YDIFFの一方または両方を参照して生成した合成強調成分CDIFFをフィルタ処理後の輝度信号YFIL2に混合する処理を行い、混合後の輝度信号YOUTを出力するブロックである。
すなわち、実施形態2のエンハンスメント処理部205a(図17参照)において、実施形態1のエンハンスメント処理部205(図3参照)との相違点は、輪郭強調処理部310aが追加された事と、それに伴い混合処理部306aの混合処理の内容が一部変更になる事とである。したがって、以下では、輪郭強調処理部310aの処理、および、混合処理部306aの処理を詳しく説明する。
(輪郭強調処理部)
まず、輪郭強調処理部310aは、第2フィルタ処理部304aから送られてきたYFIL2に対してハイパスフィルタ処理を行うことにより、高域周波数成分を補正量HPFとして抽出する。前記高周波数成分には輪郭部分が含まれるため、この補正量HPFを大きくすることで、輪郭強調が可能になる。
つぎに、輪郭強調処理部310aは、補正量HPFおよび補正量調整係数βを用いて、エッジ強調成分YDIFF(輪郭部分を含む高周波数成分の強調度合)を算出する。
DIFF=HPF×β
ここで、βは補正量HPFを調整するための係数であり、レジスタに外部パラメータとして予め記憶されている値である。
(混合処理部)
混合処理部306aは、(a)入力輝度信号YINと第2フィルタ処理部304によるフィルタ処理後の輝度信号YFIL2との差分値をディテール強調成分DDIFFとして求め、(b)輪郭強調処理部310aから出力されたエッジ強調成分YDIFFおよびディテール強調成分DDIFFの重み付き和を計算することで合成強調成分CDIFFを出力し、(c)重み出力部305にて求めた重み係数Wと所定のゲインGとを用いることで、フィルタ処理後の輝度信号YFIL2に合成強調成分CDIFFを混合することにより強調処理を行う。
図18は、混合処理部306aの処理フローである。混合処理部306aは、はじめに強調成分合成処理を行う(S61)。
具体的には、混合処理部306aは、入力輝度信号YINと第2フィルタ処理部304によるフィルタ処理後の輝度信号YFIL2との差分値をディテール強調成分DDIFFとして求める。そして、混合処理部306aは、前記ディテール強調成分DDIFFと前記エッジ強調成分YDIFFとの重み付き和を求め、この重み付き和を合成強調成分CDIFFとして出力する。具体的には、下記の式によって合成強調成分CDIFFを算出する。
DIFF=YDIFF×g+DDIFF×g
ここで、gおよびgは、重み付き和を求めるための重み係数(強調成分用重み係数)であり、レジスタに外部パラメータとして予め記憶されており、0から1までの実数値をとる。例えば、g=0、g=1であれば、CDIFF=DDIFFとなり、ディテール強調成分のみが強調されることになり、g=1、g=0であれば、CDIFF=YDIFFとなり、輪郭などのエッジ強調成分のみが強調されることになり、g=1、g=1であれば、CDIFF=YDIFF+DDIFFとなり、エッジ強調成分とディテール強調成分の両方が強調されることになる。
また、表示モードと当該表示モードに適したgおよびgの値との対応関係を予め定めておき、混合処理部306aは、利用者に指定される表示モードに対応するgおよびgの値を用いて計算するようになっていてもよい。この場合、gおよびgの値と表示モードとの対応関係を示したテーブルを記憶部に保持しておき、当該テーブルを参照して、利用者に指定される表示モードに対応するgおよびgの値を用いて計算するようになっていてもよい。あるいは、gおよびgの値と表示モードとの対応関係を予めレジスタなどに外部パラメータとして記憶させておき、この外部パラメータを用いて利用者に指定される表示モードに対応するgおよびgの値を用いて計算するようになっていてもよい。
また、表示されるコンテンツのデータに表示モードを示す情報を含ませておき、混合処理部306aは、当該情報から表示モードを検出し、この表示モードに対応するgおよびgの値を用いて計算するようになっていてもよい。これにより、各コンテンツに応じた最適な強調処理を行うことが可能となる。例えば、コンテンツが映像のみのような場合、または、ムービー(動画)を表示させるムービーモードが指定されている場合、g=0およびg=1の値を用いて計算すればよい。また、コンテンツが文字のみの場合、または、文字を表示させるテキストモードが指定されているような場合、g=1およびg=0の値を用いて計算すればよい。また、コンテンツが文字と画像が混在しているような場合、または、アニメを表示させるアニメモードなどの場合、g=0.1〜1、g=0.1〜1(例えば、調整メニューで値を変更可能にしておく)の値を用いて計算すればよい。
図18に示すS61の後、混合処理部306aは、戻し量計算処理を行う(S62)。具体的には、混合処理部306aは、合成強調成分CDIFFに対して、重み出力部305から伝送されてきた重み係数Wを掛け、合成強調成分の戻し量(CDIFF×W)を求める。
また、図18に示すS62の後、混合処理部306aは、合成強調成分CDIFFに対して第1クリッピング処理を行う(S63)。S63の第1クリッピング処理は、第1実施形態の第1クリッピング処理(図13、図12のS42)と同様であり、ここではその説明を省略する。
図18に示すS63の後、混合処理部306aは、混合処理を行う(S64)。混合処理は、輝度信号YFIL2に基づいてゲインGを定め、ゲインGを用いて戻し量(CDIFF×W)を調整することで調整済戻し量(補正輝度差分値)CYDIFFを求め、調整済戻し量CYDIFFを輝度信号YFIL2に加算し、加算して得られる値をエンハンスメント処理結果YTMPとして出力する処理である。
ここで、ゲインGは、実施形態1と同様の手法(図14)にて定められるため、その詳細については省略する。そして、混合処理部306aは、ゲインGと戻し量(CDIFF×W)とを掛けて得られる値を、調整済戻し量CYDIFFとして出力するのである。
図18に示すS64の後、混合処理部306aは、第2クリッピング処理を行う(S65)。S65の第2クリッピング処理は、第1実施形態の第2クリッピング処理(図12のS44)と同様であり、ここではその説明を省略する。
混合処理部306は、S65の後、エンハンスメント処理結果YTMPを出力輝度信号YOUTとして出力する。出力輝度信号YOUTはエンハンスメント処理部205aからカラー調整処理部206に伝送されることになる。
以上にて説明した処理を、入力された各フレームの各画素に対して順次行うことにより、入力画像データを拡大表示する際に目立ってしまうセンサーノイズや圧縮ノイズを極力強調することなく、輪郭再現性やディテール感を向上させることが可能となる。
〔実施形態3〕
図19は、本発明の一態様であるモニタ1bの概略構成を示すブロック図である。本実施形態に係るモニタ1bは、所謂インフォーメーションディスプレイであり、本体部10b、音声出力部12b、表示部11bを備えている。また、本体部10bは、インタフェース部14b、制御部16b、電源ユニット17bを備えている。音声出力部12b、表示部11b、インタフェース部14b、電源ユニット17bは、夫々、図1の音声出力部12、表示部11、インタフェース部14、電源ユニット17と同様のものである。そして、制御部16bの映像信号処理部161bを実施形態1の映像信号処理部161と同様の構成にすることにより、高品質に映像のディテール感の向上処理を実行することが出来る。
〔実施形態4〕
図20は、本発明の一態様であるマルチディスプレイ500を模式的に示した図である。図20のマルチディスプレイ500は、図19に記載のモニタ1bを複数台並べて構成されている画像表示装置である。夫々、水平方向、垂直方向に複数台のモニタ1b…を並べて構成されるマルチディスプレイ500にFHD映像を再生するような場合においても、映像信号処理部161bを実施形態1の映像信号処理部161と同様の構成にすることにより、高品質に映像のディテール感の向上処理を実行することが出来る。なお、本発明の一態様は、マルチディスプレイだけでなく、単体のディスプレイに適用することも可能である。
〔実施形態5〕
実施形態1の第1ノイズ判定処理部301または第2ノイズ判定処理部302では、隣接差分に基づいて様々な判定処理を行っているが、隣接差分を用いることに限られるものではない。例えば、隣接差分を用いる形態と全く同じ判定結果になるわけではないが(ほぼ同様の判定結果にはなる)、下記の局所ヒストグラムを用いて判定処理を行ってもよい。本実施形態では、局所ヒストグラムを用いて判定処理を行う形態を説明する。
例えば、第1ノイズ判定処理部301による垂直方向に関する判定処理の場合、1×17画素や3×9画素といった局所領域での局所ヒストグラムを設定する(第2ノイズ判定処理部302による水平方向に関する判定処理の場合、17×1画素や9×3画素の局所領域となる)。
そして、S11の輝度変化急峻判定を以下のように行う。例えば、第1予備判定(非平坦部の判定)では、局所ヒストグラムの輝度レンジ幅(輝度最大値−輝度最小値)が0でなければ、非平坦部と判定できる。また、局所ヒストグラムにおいて、一定数以上の画素数のピークが2か所だけあり、かつ、注目画素とそこから一方向へ並んでいる周辺画素との輝度値のほとんどが前記2つのピークのうち1つのピークの範囲に収まっている場合に、第2予備判定においてエッジ開始部であると判定できる。さらに、局所ヒストグラムのピークが1か所であり、且つ、注目画素の輝度値がそのピーク付近に存在しないのであれば、第3予備判定において頂点部であると判定できる。そして、第1予備判定〜第3予備判定の判定結果から、輝度変化急峻判定を行うことができる。
また、局所ヒストグラムによってS12のモスキート判定も同様に行える。第4予備判定では、局所ヒストグラムにおいて、一定数以上(例えば、6画素分)の画素数のピークが2箇所または1箇所だけあり、かつ、注目画素がそのピークに含まれるのであれば、モスキートの発生している可能性のある平坦部であると判定できる。第5予備判定では、局所ヒストグラムの2つのピークの間隔が一定以上(例えば輝度値で20)離れており、且つ、ピークの画素数が一定以上(例えば、6画素分)であり、且つ、ピーク間にも1〜3画素程度の画素数がカウントされた輝度値が存在するのであれば、モスキートノイズが発生している可能性があると判定できる。また、第6予備判定では、局所ヒストグラムの2つのピークの間隔が一定以上(例えば輝度値で30)離れていれば、モスキートノイズが発生している可能性があると判定できる。なお、第7予備判定では、局所ヒストグラムを用いず、実施形態1と同様に、例えば垂直方向の場合、注目画素とその上の画素との隣接差分の大きさ(dAPR10)、および、注目画素とその下の画素との隣接差分の大きさ(dANX01)を用いて、判定を行う。これらの判定結果から、S12のモスキート判定を行うことができる。
さらに、隣接差分を用いる形態と全く同じ判定結果になるわけではないが(ほぼ同様の判定結果にはなる)、局所ヒストグラムを用いた方法以外の判定方法としては、以下の手法がある。例えば、第1予備判定であれば、注目画素を除く周辺8近傍画素の輝度の平均値と注目画素の輝度とを比べ、輝度が同じでなければ、非平坦部であると判定することもできる。また、第3予備判定においては、注目画素を除く周辺8近傍画素の輝度の平均値と注目画素の輝度値との輝度差が一定値以上(例えば、輝度差50)であれば、頂点部であると判定することができる。また、第4予備判定において、注目画素を除く周辺8近傍画素の輝度の平均値と注目画素の輝度値の輝度差が一致値以下(例えば、輝度差5)であれば、平坦部であると判定することができる。
〔第2ノイズ判定処理部302について〕
第2ノイズ判定処理部302の処理内容は以下の通りである。第2ノイズ判定処理部302は、注目画素が中心に位置しており且つ9個の画素がx方向(水平方向)に連続して一列に並ぶ画素群を参照範囲とし、主に当該参照範囲を用いて処理を行う。
つまり、第2ノイズ判定処理部302は、下記のようにして水平方向に関する隣接差分を算出する。なお、以下の説明では、P(x−n,y)は、P(x−n,y)の輝度値を示し、P(x+n,y)は、P(x+n,y)の輝度値を示す。
水平方向の隣接差分
dPR43=P(x−4,y)−P(x−3,y)
dPR32=P(x−3,y)−P(x−2,y)
dPR21=P(x−2,y)−P(x−1,y)
dPR10=P(x−1,y)−P(x,y )
dNX01=P(x,y )−P(x+1,y)
dNX12=P(x+1,y)−P(x+2,y)
dNX23=P(x+2,y)−P(x+3,y)
dNX34=P(x+3,y)−P(x+4,y)
そして、第2ノイズ判定処理部302は、以上のようにして求めた水平方向の隣接差分を、実施形態1にて示したdAPR43〜dANX34を求めるための式に代入することで、dAPR43〜dANX34を求める。また、第2ノイズ判定処理部302は、このようにして求めたdAPR43〜dANX34を、実施形態1にて示したsumAPR3〜sumANX3を求めるための式に代入することで、sumAPR3〜sumANX3を求める。
その後、第2ノイズ判定処理部302は、このように求めたdAPR43〜dANX34とsumAPR3〜sumANX3とを用いて、第1ノイズ判定処理部301による処理と同様に、S11〜S14を実行する。
但し、第2ノイズ判定処理部302の第1予備判定、第2予備判定、第7予備判定、微小振幅候補点判定では、dAPR10は、注目画素とその左の画素との隣接差分の大きさを指し、dANX01は、注目画素とその右の画素との隣接差分の大きさを指すことになる。つまり、第1予備判定、第2予備判定、第7予備判定、微小振幅候補点判定において、第1ノイズ判定処理部301では、注目画素と注目画素の上下の画素とからなる領域を対象としているのに対し、第2ノイズ判定処理部302では、注目画素と注目画素の左右の画素とからなる領域を対象とする点で相違するが、他の点では両処理部301・302の処理内容は同一である。
また、第2ノイズ判定処理部302の第3予備判定では、(dAPR10+dANX01)は、注目画素とその1つ左の画素との隣接差分の大きさ(絶対値)と、注目画素とその1つ右の画素との隣接差分の大きさ(絶対値)との和を指すことになる。また、sumACNTは、注目画素とその1つ左の画素との隣接差分と、注目画素とその1つ右の画素との隣接差分との和の大きさ(絶対値)を指すことになる。つまり、第3予備判定においても、第1ノイズ判定処理部301では、注目画素と注目画素の上下の画素とからなる領域を対象としているのに対し、第2ノイズ判定処理部302では、注目画素と注目画素の左右の画素とからなる領域を対象とする点で相違するが、他の点では両処理部301・302の処理内容は同一である。
また、第2ノイズ判定処理部302の第4予備判定では、注目画素と注目画素よりも左側領域の参照画素とからなる左側領域と、注目画素と注目画素よりも右側の参照画素とからなる右側領域との各々について、隣接差分の大きさの和を求めるようになっている。つまり、第2ノイズ判定処理部302の第4予備判定では、PRASumが左側領域の隣接差分の大きさの和であり、NXASumが右側領域の隣接差分の大きさの和を指す。すなわち、第4予備判定において、第1ノイズ判定処理部301では、上側領域および下側領域を対象としているのに対し、第2ノイズ判定処理部302では、左側領域および右側領域を対象とする点で相違するが、他の点では両処理部301・302の処理内容は同一である。
また、第2ノイズ判定処理部302の第5予備判定、変化点判定のALLAsumは、水平方向に一列に並ぶ画素群からなる参照範囲の隣接差分の総和を指す。すなわち、第5予備判定および変化点判定において、第1ノイズ判定処理部301では、垂直方向に一列に並ぶ画素群からなる参照範囲(注目画素と上側領域と下側領域)を対象としているのに対し、第2ノイズ判定処理部302では、水平方向に一列に並ぶ画素群からなる参照範囲(注目画素と左側領域と右側領域)を対象とする点で相違するが、他の点では両処理部301・302の処理内容は同一である。
また、輝度変化急峻判定(S11)およびモスキート判定(S12)において、第1ノイズ判定処理部301では、垂直方向に一列に並ぶ画素からなる参照範囲を判定の対象としているのに対し、第2ノイズ判定処理部302では、水平方向に一列に並ぶ画素からなる参照範囲を判定の対象としていることになる。
〔まとめ〕
以上にて示したように、本発明の態様1の画像処理装置(16)は、入力画像データの画像において注目画素を含む参照範囲を設定し、前記参照範囲の各画素の輝度値に基づき、前記注目画素に適したフィルタのタイプを判定する判定処理部(第1ノイズ判定処理部301・第2ノイズ判定処理部302)と、前記注目画素について、前記判定処理部にて判定されたタイプのフィルタを用いて前記入力画像データにフィルタ処理を行い、フィルタ処理済画像データを出力するフィルタ処理部(第1フィルタ処理部303・第2フィルタ処理部304)と、前記入力画像データに基づき、前記注目画素がノイズであることの信頼度を示すノイズ信頼度を求め、前記ノイズ信頼度が低いほど大きくなる重み係数を出力する重み出力部(305)と、前記注目画素について、前記入力画像データと前記フィルタ処理済画像データとの差分をディテール強調成分として求め、前記重み係数によって重み付けした前記ディテール強調成分を前記フィルタ処理済画像データに混合して得られる出力画像データを生成する混合処理部(306)とを備えたことを特徴とする。
この特徴によれば、前記ノイズ信頼度が高いほど(ディテールの可能性が低いほど)、前記出力画像データのうち前記フィルタ処理済画像データの含有割合を高くして前記ディテール強調成分の含有割合を低くし、前記ノイズ信頼度が低いほど(ディテールの可能性が高いほど)、前記出力画像データのうち前記フィルタ処理済画像データの含有割合を低くして前記前記ディテール強調成分の含有割合を高くしていることになる。それゆえ、フィルタ処理によって画像のノイズを極力抑えつつ、フィルタ処理に起因したディテール感(精細感)の低下を抑制することが可能になるという効果を奏する。言い換えると、混合処理(強調処理)において、画像を拡大表示する際に目立ってしまうセンサーノイズや圧縮ノイズ(モスキートノイズ等)を極力強調することなく、ディテール感(精細感)を向上させることができるという効果を奏する。
また、本発明の態様2の画像処理装置において、前記判定処理部は、第1方向に所定数の画素が一列に並んでおり中央に前記注目画素が位置する第1参照範囲を設定し、第1参照範囲の各画素の輝度値に基づいて、前記フィルタのタイプを判定する第1判定処理部(第1ノイズ判定処理部301)と、前記第1方向と直交する第2方向に所定数の画素が一列に並んでおり中央に前記注目画素が位置する第2参照範囲を設定し、第2参照範囲の各画素の輝度値に基づいて、前記フィルタのタイプを判定する第2判定処理部(第2ノイズ判定処理部302)とを含み、前記フィルタ処理部は、前記第1判定処理部に判定されるタイプのフィルタであって前記第1方向に要素が並んだ1次元フィルタによって前記入力画像データに第1フィルタ処理を実行する第1フィルタ処理部(303)と、前記第2判定処理部に判定されるタイプのフィルタであって前記第2方向に要素が並んだ1次元フィルタによって、第1フィルタ処理後の画像データに第2フィルタ処理を実行し、第2フィルタ処理後の画像データを前記フィルタ処理済画像データとして出力する第2フィルタ処理部(304)とを含む構成であってもよい。
この構成によれば、1列に画素が配列している参照範囲を設定してフィルタのタイプを判定することになり、2次元領域の参照範囲を設定する場合より、メモリ量や計算量の削減が可能になるという効果を奏する。また、第1方向(水平方向もしくは垂直方向)と、第1方向と直交する第2方向とで独立してフィルタ処理を行うことにより、それぞれの方向から判定した場合の画素の特性に応じたフィルタ処理を行えるというメリットがある。
また、本発明の態様3の画像処理装置において、前記第1判定処理部は、前記第1参照範囲について、(a)互いに隣接し合う画素同士の輝度値の差分の絶対値である隣接差分絶対値を求め、且つ、(b)一列に並ぶ3画素のうち、真中の画素と一方の端の画素との輝度値の差分と、真中の画素と他方の端の画素との輝度値の差分との和の絶対値である隣接差分和絶対値を求め、前記隣接差分絶対値および前記隣接差分和絶対値の少なくとも一方に基づき、前記注目画素が隣接する画素との間で輝度差が大きくなっている輝度変化急峻領域の可能性があるかどうかの第1輝度変化急峻判定と、注目画素がモスキートノイズの可能性のある画素であるかどうかの第1モスキート判定と、注目画素が平坦領域または微小振幅ノイズ領域の候補点である微小振幅候補点かどうかの第1候補点判定と、注目画素が輝度変化の多い領域に属する画素の可能性がある変化点であるかどうかの第1変化点判定とを行い、前記第1輝度変化急峻判定の結果、前記第1モスキート判定の結果、前記第1候補点判定の結果、および前記第1変化点判定の結果に基づき、フィルタのタイプを判定し、前記第2判定処理部は、前記第2参照範囲について前記隣接差分絶対値と前記隣接差分和絶対値とを求め、前記第2参照範囲から求められた前記隣接差分絶対値および前記隣接差分和絶対値の少なくとも一方に基づき、前記注目画素が隣接する画素との間で輝度差が大きくなっている輝度変化急峻領域の可能性があるかどうかの第2輝度変化急峻判定と、注目画素がモスキートノイズの可能性のある画素であるかどうかの第2モスキート判定と、注目画素が平坦領域または微小振幅ノイズ領域の候補点である微小振幅候補点かどうかの第2候補点判定と、注目画素が輝度変化の多い領域に属する画素の可能性がある変化点であるかどうかの第2変化点判定とを行い、前記第2輝度変化急峻判定の結果、前記第2モスキート判定の結果、前記第2候補点判定の結果、および前記第2変化点判定の結果に基づき、フィルタのタイプを判定する構成であってもよい。
この構成によれば、画像領域の種類(モスキートノイズ、スパイクノイズ、ディテール)に応じて最適なフィルタ係数を設定できるという効果を奏する。
また、本発明の態様4の画像処理装置において、前記第1判定処理部は、注目画素の周囲にて注目画素に隣接する各隣接画素についても前記第1候補点判定および前記第1変化点判定を行い、前記隣接画素の各々について、前記第1候補点判定の結果および前記第1変化点判定の結果に基づいてノイズかどうかの第1ノイズ判定を行い、前記隣接画素のうち、前記第1ノイズ判定にてノイズと判定された画素の数を第1ノイズカウント値として出力し、前記第2判定処理部は、注目画素の周囲にて注目画素に隣接する各隣接画素についても前記第2候補点判定および前記第2変化点判定を行い、前記隣接画素の各々について、前記第2候補点判定の結果および前記第2変化点判定の結果に基づいてノイズかどうかの第2ノイズ判定を行い、前記隣接画素のうち、前記第2ノイズ判定にてノイズと判定された画素の数を第2ノイズカウント値として出力し、前記重み出力部は、前記第1モスキート判定の結果、前記第1候補点判定の結果、および前記第1変化点判定の結果に応じて、注目画素のノイズの可能性の高さを示した第1ノイズ判定値を設定し、前記第2モスキート判定の結果、前記第2候補点判定の結果、および前記第2変化点判定の結果に応じて、注目画素のノイズの可能性の高さを示した第2ノイズ判定値を設定し、前記第1ノイズ判定値と前記第2ノイズ判定値と前記第1ノイズカウント値と前記第2ノイズカウント値とを積算した結果を前記ノイズ信頼度として出力する構成であってもよい。
この構成によれば、ノイズの可能性の高さを示したノイズ信頼度を高精度に出力できる。
また、本発明の態様5の画像処理装置において、前記第1判定処理部によって判定されたフィルタのタイプがモスキートノイズ対応タイプである場合、前記第1フィルタ処理部は、エッジ保存型の平滑化フィルタを用いて第1フィルタ処理を行い、前記第2判定処理部によって判定されたフィルタのタイプがモスキートノイズ対応タイプである場合、前記第2フィルタ処理部は、エッジ保存型の平滑化フィルタを用いて第2フィルタ処理を行う構成であってもよい。
この構成によれば、モスキートノイズのある画素に対して平滑化する際、輪郭部のような強いエッジについては平滑化されることを極力抑制できるため、輪郭部をぼかさずに画像のノイズを極力抑えることが可能になるという効果を奏する。
また、本発明の態様6の画像処理装置は、入力画像データの画像において注目画素を含む参照範囲を設定し、前記参照範囲の各画素の輝度値に基づき、前記注目画素に適したフィルタのタイプを判定する判定処理部(第1ノイズ判定処理部301・第2ノイズ判定処理部302)と、前記注目画素について、前記判定処理部にて判定されたタイプのフィルタを用いて前記入力画像データにフィルタ処理を行い、フィルタ処理済画像データを出力するフィルタ処理部(第1フィルタ処理部303・第2フィルタ処理部304a)と、前記入力画像データに基づき、前記注目画素がノイズであることの信頼度を示すノイズ信頼度を求め、前記ノイズ信頼度が低いほど大きくなる重み係数を出力する重み出力部(305)と、前記注目画素について、前記フィルタ処理済画像データに対して輪郭強調処理を行い、輪郭強調処理後の画像データをエッジ強調成分として出力する輪郭強調処理部(310a)と、前記注目画素について、(a)前記入力画像データと前記フィルタ処理済画像データとの差分であるディテール強調成分を求め、(b)前記ディテール強調成分と前記エッジ強調成分との重み付け和を合成強調成分として求め、(c)前記合成強調成分を前記重み係数によって重み付けしたうえで前記フィルタ処理済画像データに混合して得られる出力画像データを生成する混合処理部(306a)とを備えたことを特徴とする。
この特徴によれば、フィルタ処理によって画像のノイズを極力抑えつつ、フィルタ処理に起因したディテール感(精細感)の低下を抑制でき、且つ、フィルタ処理によって輪郭部がぼかされてしまうという事態をも抑制できるという効果を奏する。言い換えると、混合処理(強調処理)において、画像を拡大表示する際に目立ってしまうセンサーノイズや圧縮ノイズ(モスキートノイズ等)を極力強調することなく、輪郭再現性およびディテール感(精細感)を向上させることができるという効果を奏する。
また、本発明の態様7の画像表示装置(テレビ放送受信装置1)は、前述した画像処理装置を備えることを特徴とする。
〔ソフトウェアによる実現例〕
最後に、制御部16に含まれる各ブロックのうちの少なくとも1以上のブロック、特に映像信号処理部161のエンハンスメント処理部205内の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
後者の場合、テレビ放送受信装置1は、各機能を実現するプログラムの命令を実行するCPU、上記プログラムを格納したROM(Read Only Memory)、上記プログラムを展開するRAM(Random Access Memory)、上記プログラムおよび各種データを格納するメモリ等の記憶装置(記録媒体)などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるテレビ放送受信装置1の制御プログラムのプログラムコード(実行形式プログラム、中間コードプログラム、ソースプログラム)をコンピュータで読み取り可能に記録した記録媒体を、上記テレビ放送受信装置1に供給し、そのコンピュータ(またはCPUやMPU)が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
上記記録媒体としては、一時的でない有形の媒体(non-transitory tangible medium)、例えば、磁気テープやカセットテープ等のテープ類、フロッピー(登録商標)ディスク/ハードディスク等の磁気ディスクやCD−ROM/MO/MD/DVD/CD−R等の光ディスクを含むディスク類、ICカード(メモリカードを含む)/光カード等のカード類、マスクROM/EPROM/EEPROM(登録商標)/フラッシュROM等の半導体メモリ類、あるいはPLD(Programmable logic device)やFPGA(Field Programmable Gate Array)等の論理回路類などを用いることができる。
また、テレビ放送受信装置1を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、LAN、ISDN、VAN、CATV通信網、仮想専用網(Virtual Private Network)、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。
本発明は、入力画像を拡大表することが可能な表示装置に利用でき、特にテレビ放送受信装置やパーソナルコンピュータのモニタに利用できる。
1 テレビ放送受信装置(画像表示装置)
1b モニタ
11 表示部
16 制御部(画像処理装置)
16b 制御部(画像処理装置)
161 映像信号処理部
161b 映像信号処理部
205 エンハンスメント処理部
205a エンハンスメント処理部
301 第1ノイズ判定処理部(判定処理部、第1判定処理部)
302 第2ノイズ判定処理部(判定処理部、第2判定処理部)
303 第1フィルタ処理部(フィルタ処理部)
304 第2フィルタ処理部(フィルタ処理部)
304a 第2フィルタ処理部(フィルタ処理部)
305 重み出力部
306 混合処理部
306a 混合処理部
310a 輪郭強調処理部
500 マルチディスプレイ(画像表示装置)

Claims (8)

  1. 入力画像データの画像において注目画素を含む参照範囲を設定し、前記参照範囲の各画素の輝度値に基づき、前記注目画素に適したフィルタのタイプを判定する判定処理部と、
    前記注目画素について、前記判定処理部にて判定されたタイプのフィルタを用いて前記入力画像データにフィルタ処理を行い、フィルタ処理済画像データを出力するフィルタ処理部と、
    前記入力画像データに基づき、前記注目画素がノイズであることの信頼度を示すノイズ信頼度を求め、前記ノイズ信頼度が低いほど大きくなる重み係数を出力する重み出力部と、
    前記注目画素について、前記入力画像データと前記フィルタ処理済画像データとの差分をディテール強調成分として求め、前記重み係数によって重み付けした前記ディテール強調成分を前記フィルタ処理済画像データに混合して得られる出力画像データを生成する混合処理部とを備え
    前記判定処理部は、
    第1方向に所定数の画素が一列に並んでおり中央に前記注目画素が位置する第1参照範囲を設定し、第1参照範囲の各画素の輝度値に基づいて、前記フィルタのタイプを判定する第1判定処理部と、
    前記第1方向と直交する第2方向に所定数の画素が一列に並んでおり中央に前記注目画素が位置する第2参照範囲を設定し、第2参照範囲の各画素の輝度値に基づいて、前記フィルタのタイプを判定する第2判定処理部とを含み、
    前記第1判定処理部は、
    前記第1参照範囲について、(a)互いに隣接し合う画素同士の輝度値の差分の絶対値である隣接差分絶対値を求め、且つ、(b)一列に並ぶ3画素のうち、真中の画素と一方の端の画素との輝度値の差分と、真中の画素と他方の端の画素との輝度値の差分との和の絶対値である隣接差分和絶対値を求め、
    前記隣接差分絶対値および前記隣接差分和絶対値の少なくとも一方に基づき、前記注目画素が隣接する画素との間で輝度差が大きくなっている輝度変化急峻領域の可能性があるかどうかの第1輝度変化急峻判定と、注目画素がモスキートノイズの可能性のある画素であるかどうかの第1モスキート判定と、注目画素が平坦領域または微小振幅ノイズ領域の候補点である微小振幅候補点かどうかの第1候補点判定と、注目画素が輝度変化の多い領域に属する画素の可能性がある変化点であるかどうかの第1変化点判定とを行い、
    前記第1輝度変化急峻判定の結果、前記第1モスキート判定の結果、前記第1候補点判定の結果、および前記第1変化点判定の結果に基づき、フィルタのタイプを判定し、
    前記第2判定処理部は、
    前記第2参照範囲について前記隣接差分絶対値と前記隣接差分和絶対値とを求め、前記第2参照範囲から求められた前記隣接差分絶対値および前記隣接差分和絶対値の少なくとも一方に基づき、前記注目画素が隣接する画素との間で輝度差が大きくなっている輝度変化急峻領域の可能性があるかどうかの第2輝度変化急峻判定と、注目画素がモスキートノイズの可能性のある画素であるかどうかの第2モスキート判定と、注目画素が平坦領域または微小振幅ノイズ領域の候補点である微小振幅候補点かどうかの第2候補点判定と、注目画素が輝度変化の多い領域に属する画素の可能性がある変化点であるかどうかの第2変化点判定とを行い、
    前記第2輝度変化急峻判定の結果、前記第2モスキート判定の結果、前記第2候補点判定の結果、および前記第2変化点判定の結果に基づき、フィルタのタイプを判定することを特徴とする画像処理装置。
  2. 前記フィルタ処理部は、
    前記第1判定処理部に判定されるタイプのフィルタであって前記第1方向に要素が並んだ1次元フィルタによって前記入力画像データに第1フィルタ処理を実行する第1フィルタ処理部と、
    前記第2判定処理部に判定されるタイプのフィルタであって前記第2方向に要素が並んだ1次元フィルタによって、第1フィルタ処理後の画像データに第2フィルタ処理を実行し、第2フィルタ処理後の画像データを前記フィルタ処理済画像データとして出力する第2フィルタ処理部とを含むことを特徴とする請求項1に記載の画像処理装置。
  3. 入力画像データの画像において注目画素を含む参照範囲を設定し、前記参照範囲の各画素の輝度値に基づき、前記注目画素に適したフィルタのタイプを判定する判定処理部と、
    前記注目画素について、前記判定処理部にて判定されたタイプのフィルタを用いて前記入力画像データにフィルタ処理を行い、フィルタ処理済画像データを出力するフィルタ処理部と、
    前記入力画像データに基づき、前記注目画素がノイズであることの信頼度を示すノイズ信頼度を求め、前記ノイズ信頼度が低いほど大きくなる重み係数を出力する重み出力部と、
    前記注目画素について、前記入力画像データと前記フィルタ処理済画像データとの差分をディテール強調成分として求め、前記重み係数によって重み付けした前記ディテール強調成分を前記フィルタ処理済画像データに混合して得られる出力画像データを生成する混合処理部とを備え、
    前記判定処理部は、
    第1方向に所定数の画素が一列に並んでおり中央に前記注目画素が位置する第1参照範囲を設定し、第1参照範囲の各画素の輝度値に基づいて、前記フィルタのタイプを判定する第1判定処理部と、
    前記第1方向と直交する第2方向に所定数の画素が一列に並んでおり中央に前記注目画素が位置する第2参照範囲を設定し、第2参照範囲の各画素の輝度値に基づいて、前記フィルタのタイプを判定する第2判定処理部とを含み、
    前記フィルタ処理部は、
    前記第1判定処理部に判定されるタイプのフィルタであって前記第1方向に要素が並んだ1次元フィルタによって前記入力画像データに第1フィルタ処理を実行する第1フィルタ処理部と、
    前記第2判定処理部に判定されるタイプのフィルタであって前記第2方向に要素が並んだ1次元フィルタによって、第1フィルタ処理後の画像データに第2フィルタ処理を実行し、第2フィルタ処理後の画像データを前記フィルタ処理済画像データとして出力する第2フィルタ処理部とを含み、
    前記第1判定処理部によって判定されたフィルタのタイプがモスキートノイズ対応タイプである場合、前記第1フィルタ処理部は、エッジ保存型の平滑化フィルタを用いて第1フィルタ処理を行い、
    前記第2判定処理部によって判定されたフィルタのタイプがモスキートノイズ対応タイプである場合、前記第2フィルタ処理部は、エッジ保存型の平滑化フィルタを用いて第2フィルタ処理を行うことを特徴とする画像処理装置。
  4. 前記第1判定処理部は、
    注目画素の周囲にて注目画素に隣接する各隣接画素についても前記第1候補点判定および前記第1変化点判定を行い、
    前記隣接画素の各々について、前記第1候補点判定の結果および前記第1変化点判定の結果に基づいてノイズかどうかの第1ノイズ判定を行い、
    前記隣接画素のうち、前記第1ノイズ判定にてノイズと判定された画素の数を第1ノイズカウント値として出力し、
    前記第2判定処理部は、
    注目画素の周囲にて注目画素に隣接する各隣接画素についても前記第2候補点判定および前記第2変化点判定を行い、
    前記隣接画素の各々について、前記第2候補点判定の結果および前記第2変化点判定の結果に基づいてノイズかどうかの第2ノイズ判定を行い、
    前記隣接画素のうち、前記第2ノイズ判定にてノイズと判定された画素の数を第2ノイズカウント値として出力し、
    前記重み出力部は、
    前記第1モスキート判定の結果、前記第1候補点判定の結果、および前記第1変化点判定の結果に応じて、注目画素のノイズの可能性の高さを示した第1ノイズ判定値を設定し、
    前記第2モスキート判定の結果、前記第2候補点判定の結果、および前記第2変化点判定の結果に応じて、注目画素のノイズの可能性の高さを示した第2ノイズ判定値を設定し、
    前記第1ノイズ判定値と前記第2ノイズ判定値と前記第1ノイズカウント値と前記第2ノイズカウント値とを積算した結果を前記ノイズ信頼度として出力することを特徴とする請求項1または2に記載の画像処理装置。
  5. 入力画像データの画像において注目画素を含む参照範囲を設定し、前記参照範囲の各画素の輝度値に基づき、前記注目画素に適したフィルタのタイプを判定する判定処理部と、
    前記注目画素について、前記判定処理部にて判定されたタイプのフィルタを用いて前記入力画像データにフィルタ処理を行い、フィルタ処理済画像データを出力するフィルタ処理部と、
    前記入力画像データに基づき、前記注目画素がノイズであることの信頼度を示すノイズ信頼度を求め、前記ノイズ信頼度が低いほど大きくなる重み係数を出力する重み出力部と、
    前記注目画素について、前記フィルタ処理済画像データに対して輪郭強調処理を行い、輪郭強調処理後の画像データをエッジ強調成分として出力する輪郭強調処理部と、
    前記注目画素について、(a)前記入力画像データと前記フィルタ処理済画像データとの差分であるディテール強調成分を求め、(b)前記ディテール強調成分と前記エッジ強調成分との重み付け和を合成強調成分として求め、(c)前記合成強調成分を前記重み係数によって重み付けしたうえで前記フィルタ処理済画像データに混合して得られる出力画像データを生成する混合処理部とを備えたことを特徴とする画像処理装置。
  6. 請求項1から5のいずれか1項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
  7. 請求項1から5のいずれか1項に記載の画像処理装置を動作させるプログラムであって、コンピュータを前記各部として機能させるプログラム。
  8. 請求項に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2013006740A 2013-01-17 2013-01-17 画像処理装置、画像表示装置、プログラム、および、記憶媒体 Active JP6035153B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013006740A JP6035153B2 (ja) 2013-01-17 2013-01-17 画像処理装置、画像表示装置、プログラム、および、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013006740A JP6035153B2 (ja) 2013-01-17 2013-01-17 画像処理装置、画像表示装置、プログラム、および、記憶媒体

Publications (2)

Publication Number Publication Date
JP2014138329A JP2014138329A (ja) 2014-07-28
JP6035153B2 true JP6035153B2 (ja) 2016-11-30

Family

ID=51415608

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013006740A Active JP6035153B2 (ja) 2013-01-17 2013-01-17 画像処理装置、画像表示装置、プログラム、および、記憶媒体

Country Status (1)

Country Link
JP (1) JP6035153B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6161847B1 (ja) * 2015-12-18 2017-07-12 三菱電機株式会社 画像処理装置及び画像処理方法
JP6849576B2 (ja) * 2017-11-09 2021-03-24 日本電信電話株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP6930605B2 (ja) 2017-12-14 2021-09-01 日本電気株式会社 画像処理装置、画像処理方法および画像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4415236B2 (ja) * 2000-02-07 2010-02-17 ソニー株式会社 画像処理装置及び画像処理方法
KR20100099686A (ko) * 2007-12-04 2010-09-13 소니 주식회사 화상 처리 장치 및 방법, 프로그램, 및 기록 매체
JPWO2009118978A1 (ja) * 2008-03-24 2011-07-21 パナソニック株式会社 ノイズ検出方法及びそのノイズ検出方法を用いた映像処理方法
JP2010041497A (ja) * 2008-08-06 2010-02-18 Sanyo Electric Co Ltd 画像処理装置、電子機器及び画像処理方法

Also Published As

Publication number Publication date
JP2014138329A (ja) 2014-07-28

Similar Documents

Publication Publication Date Title
JP4191241B2 (ja) 視覚処理装置、視覚処理方法、プログラム、表示装置および集積回路
US9978121B2 (en) Adaptive sharpening in image processing and display
JP5159208B2 (ja) 映像補正方法及び装置
US8233744B2 (en) Image enlargement apparatus, method, integrated circuit, and program
US8401324B2 (en) Visual processing apparatus, visual processing method, program, recording medium, display device, and integrated circuit
EP2833317B1 (en) Image display device and/or method therefor
JP5121294B2 (ja) 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路
US8314890B2 (en) Image processing apparatus and image processing method
US8374430B2 (en) Apparatus and method for feature-based dynamic contrast enhancement
WO2013172159A1 (ja) 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
US9189831B2 (en) Image processing method and apparatus using local brightness gain to enhance image quality
KR20090068355A (ko) 윤곽보정방법, 화상처리장치 및 표시장치
JP2013041565A (ja) 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP5014274B2 (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路
JP6035153B2 (ja) 画像処理装置、画像表示装置、プログラム、および、記憶媒体
JP2013235517A (ja) 画像処理装置、画像表示装置、コンピュータプログラム及び記録媒体
US20120314969A1 (en) Image processing apparatus and display device including the same, and image processing method
JP6242157B2 (ja) 画像処理装置及び画像処理方法、プログラム
WO2013151163A1 (ja) 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記録媒体
JP2010288040A (ja) 輪郭補正方法及び輪郭補正装置
JP5383385B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP2006340395A (ja) 色変換装置および色変換方法
JP2015061113A (ja) 画像処理装置、画像表示装置、プログラムおよび記録媒体
JP2015033019A (ja) 画像処理装置、画像表示装置、プログラム及び記録媒体
JP2004241893A (ja) 色変換装置および色変換方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161025

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161031

R150 Certificate of patent or registration of utility model

Ref document number: 6035153

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150