以下、発明を実施するための形態(以下、「実施の形態」とする)について説明する。なお、説明は以下の順序で行う。
1.実施の形態
2.変形例
<1.実施の形態>
[テレビ受信機の構成]
図1は、実施の形態としてのテレビ受信機100の構成例を示している。このテレビ受信機100は、アンテナ端子103と、デジタルチューナ104と、デマルチプレクサ105と、MPEGデコーダ106を有している。また、テレビ受信機100は、映像処理回路107と、パネル駆動回路108と、表示パネル109と、音声処理回路110と、音声増幅回路111と、スピーカ112を有している。
また、テレビ受信機100は、内部バス120と、CPU(CentralProcessing Unit)121と、フラッシュROM(Read Only Memory)122と、SDRAM(Synchronous DRAM)123を有している。また、テレビ受信機100は、イーサネットインタフェース(Ethernet I/F)124と、ネットワーク端子125と、リモコン受信部126と、リモコン送信機127を有している。なお、「イーサネット」、「Ethernet」は、登録商標である。
アンテナ端子103は、受信アンテナ(図示せず)で受信されたテレビ放送信号を入力する端子である。デジタルチューナ104は、アンテナ端子103に入力されたテレビ放送信号を処理して、ユーザの選択チャネルに対応した所定のトランスポートストリームを出力する。デマルチプレクサ105は、デジタルチューナ104で得られたトランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(Transport Stream)を抽出する。このパーシャルTSには、映像データのTSパケット、音声データのTSパケットが含まれている。
また、デマルチプレクサ105は、デジタルチューナ104で得られたトランスポートストリームから、PSI/SI(Program Specific Information/Service Information)を取り出し、CPU121に出力する。デジタルチューナ104で得られたトランスポートストリームには、複数のチャネルが多重化されている。デマルチプレクサ105で、当該トランスポートストリームから任意のチャネルのパーシャルTSを抽出する処理は、PSI/SI(PAT/PMT)から当該任意のチャネルのパケットID(PID)の情報を得ることで可能となる。
MPEGデコーダ106は、デマルチプレクサ105で得られる映像データのTSパケットにより構成される映像PES(Packetized Elementary Stream)パケットに対してデコード処理を行って映像データ(映像信号)を得る。また、MPEGデコーダ106は、デマルチプレクサ105で得られる音声データのTSパケットにより構成される音声PESパケットに対してデコード処理を行って音声データ(音声信号)を得る。
映像処理回路107は、MPEGデコーダ106で得られた映像データに対し、ドット妨害、クロスカラー妨害の除去、輪郭強調、IP(Interlace/Progressive)変換、グラフィックスデータの重畳等の必要な処理を行う。
なお、後述するが、映像データ(輝度データ、色差データ)に対してドット妨害成分の除去処理を行う際に、輝度データに基づいて、ドット妨害検出信号が取得されて使用される。この実施の形態において、このドット妨害検出信号を取得する際に、輝度データのドット妨害成分の水平方向周期および垂直方向周期の情報が必要とされる。
この情報は、例えば、デジタルチューナ104で取得される映像データのスケーリング(拡大処理)情報に基づいて認識される。このスケーリング情報は、映像データが、オリジナルのSD映像データ(例えば、720×480)に対して、水平、垂直の各方向にどれだけ拡大されているかを示す情報である。このスケーリング情報は、例えば、映像データのサイズ(画サイズ)情報として、あるいは、映像データのSD映像データに対するサイズ比情報等として与えられる。
映像処理回路107におけるドット妨害成分の除去処理を行う処理部(映像信号処理装置)の詳細については後述する。
パネル駆動回路108は、映像処理回路107から出力される映像データに基づいて、表示パネル109を駆動する。表示パネル109は、例えば、LCD(Liquid Crystal Display)、PDP(Plasma DisplayPanel)等で構成されている。音声処理回路110は、MPEGデコーダ106で得られた音声データに対して、音質調整処理、D/A変換処理等の必要な処理を行う。音声増幅回路111は、音声処理回路110から出力される音声信号を増幅してスピーカ112に供給する。
CPU121は、テレビ受信機100の各部の動作を制御する。フラッシュROM122は、制御ソフトウェアの格納およびデータの保管を行う。SDRAM123は、CPU121のワークエリアを構成する。CPU121は、フラッシュROM122から読み出したソフトウェアやデータをSDRAM123上に展開してソフトウェアを起動させ、テレビ受信機100の各部を制御する。
リモコン受信部126は、リモコン送信機127から送信されたリモーコントロール信号(リモコンコード)を受信し、CPU121に供給する。CPU121は、このリモコンコードに基づいて、テレビ受信機100の各部を制御する。ネットワーク端子125は、ネットワークに接続する端子であり、イーサネットインタフェース124に接続されている。CPU121、フラッシュROM122、SDRAM123およびイーサネットインタフェース124は、内部バス120に接続されている。
図1に示すテレビ受信機100の動作を簡単に説明する。アンテナ端子103に入力されたテレビ放送信号はデジタルチューナ104に供給される。このデジタルチューナ104では、テレビ放送信号が処理されて、ユーザの選択チャネルに対応した所定のトランスポートストリームが出力される。この所定のトランスポートストリームは、デマルチプレクサ105に供給される。このデマルチプレクサ105では、トランスポートストリームから、ユーザの選択チャネルに対応した、パーシャルTS(映像データのTSパケット、音声データのTSパケット)が抽出される。このパーシャルTSは、MPEGデコーダ106に供給される。
MPEGデコーダ106では、映像データのTSパケットにより構成される映像PESパケットに対してデコード処理が行われて映像データが得られる。この映像データは、映像処理回路107に供給される。この映像処理回路107では、映像データに対して、ドット妨害成分、クロスカラー妨害成分の除去処理、輪郭強調処理、IP変換処理、グラフィックスデータの重畳処理等の処理が行われる。そして、処理後の映像データはパネル駆動回路108に供給される。そのため、表示パネル109には、ユーザの選択チャネルに対応した映像が表示される。
また、MPEGデコーダ106では、音声データのTSパケットにより構成される音声PESパケットに対してデコード処理が行われて音声データが得られる。この音声データは、音声処理回路110で音質調整処理、D/A変換処理等の処理が行われ、さらに、音声増幅回路111で増幅された後に、スピーカ112に供給される。そのため、スピーカ112から、ユーザの選択チャネルに対応した音声が出力される。
[ドット妨害成分の除去処理部の構成例]
次に、映像処理回路107におけるドット妨害成分の除去処理部200の構成例について説明する。図2は、ドット妨害成分の除去処理部200の構成例を示している。
この除去処理部200は、フレーム遅延部201と、ドット妨害検出部202と、輝度(Y)信号平滑化部203を有している。輝度信号平滑化部203は、ドット妨害低減処理部を構成している。
フレーム遅延部201は、入力映像データ(入力映像信号)を構成する輝度データYinを遅延して出力する。ここで、輝度データYinを得るために用いられたオリジナルのSD映像データの信号形式をオリジナル信号形式とする。オリジナル信号形式がNTSC(National Television System Committee)方式であるかPAL(Phase Alternating Line)方式であるかにより、フレーム遅延部201の遅延時間は異なる。
オリジナル信号形式がNTSC方式である場合、フレーム遅延部201の遅延時間は1フレーム(2フィールド)とされる。この場合、現在フレームの輝度データYinと、フレーム遅延部201で1フレーム遅延された過去フレームの輝度データYin′とで、ドット妨害成分の位相は互いに逆位相となる。一方、オリジナル信号形式がPAL方式である場合、フレーム遅延部201の遅延時間は2フレーム(4フィールド)とされる。この場合、現在フレームの輝度データYinと、フレーム遅延部201で2フレーム遅延された過去フレームの輝度データYin′とで、ドット妨害成分の位相は互いに逆位相となる。
ドット妨害検出部202は、入力映像データ(入力映像信号)に基づいて、ドット妨害発生位置を検出する。ここで、ドット妨害発生位置について説明する。例えば、図3に示すように、A色の背景にB色の矩形領域が存在する映像を参照して説明する。ドット妨害には、色が変化する水平エッジに対応して水平方向に発生する、水平方向ドット妨害がある。また、ドット妨害には、色が変化する垂直エッジに対応して垂直方向に発生する、垂直方向ドット妨害がある。
ドット妨害検出部202は、水平方向ドット妨害の発生位置を検出すると共に、垂直方向ドット妨害の発生位置を検出する。また、このドット妨害検出部202は、入力映像データ(入力映像信号)を構成する輝度データに基づいて、画素毎に、静止から動きまでの段階的な動き検出信号を得る。そして、ドット妨害検出部202は、水平方向および垂直方向のドット妨害の発生位置検出信号および動き検出信号に基づいて、ドット妨害発生位置の検出信号Ddot′を得る。
[ドット妨害検出部]
このドット妨害検出部202について、さらに説明する。このドット妨害検出部202は、図2に示すように、第1のドット妨害検出部241と、第2のドット妨害検出部242と、合成部243と、乗算器244と、動き検出部245を有している。
第1のドット妨害検出部241は、水平方向ドット妨害の発生位置を検出する。第1のドット妨害検出部241は、現在フレームの輝度データYinと過去フレームの輝度データYin′の間の差分値を求め、その差分値からドット妨害成分を抽出し、抽出されたドット妨害成分の大きさに応じた検出信号Ddot1を得る。この実施の形態おいて、検出信号Ddot1は0〜8の値をとり、数値が大きいほど水平方向ドット妨害の発生位置らしさが大であることを示す。
図4は、第1のドット妨害検出部241の構成例を示している。この第1のドット妨害検出部241は、減算器241aと、バンドパスフィルタ241bと、閾値処理回路241cを有している。現在フレームの輝度データYinおよび過去フレームの輝度データYin′は減算器241aに供給される。この減算器241aでは、輝度データYin′から輝度データYinを差し引く演算が行われて、差分値(Yin′−Yin)が得られる。
減算器241aで得られる差分値(Yin′−Yin)は、バンドパルフィルタ241bに供給される。バンドパスフィルタ241bは、差分値(Yin′−Yin)からドット妨害成分を抽出する。このバンドパスフィルタ241bの通過帯域は、輝度データYinに含まれるドット妨害成分の周波数に応じて変更される。例えば、バンドパスフィルタ241bは、デジタルフィルタで構成され、タップ数およびタップ係数が変更されることで、通過帯域が変更される。このように、バンドパスフィルタ241bの通過帯域が輝度データYinに含まれるドット妨害成分の周波数に応じて変更されることで、差分値(Yin′−Yin)からドット妨害成分を確実に抽出できる。
輝度データYinに含まれるドット妨害成分の周波数は、YC分離前のSD映像信号の信号形式(例えば、NTSC方式、PAL方式等)やYC分離後の拡大処理(スケーリング)での拡大率により異なってくる。例えば、信号形式がNTSC方式で、SDサイズからHDサイズに約1125/525倍のスケーリング処理が行われている場合、3.58/(1125/525)MHz近傍が通過帯域とされる。また、例えば、信号形式がPAL方式で、SDサイズからHDサイズに約1125/625倍のスケーリング処理が行われている場合、4.43/(1125/625)MHz近傍が通過帯域とされる。
バンドパスフィルタ241bで抽出されたドット妨害成分は、閾値処理回路241cに供給される。この閾値処理回路241cでは、バンドパスフィルタ241bで抽出されたドット妨害成分の大きさが複数の閾値と比較され、その大きさに応じて0〜8の値が割り当てられ、検出信号Dout1として出力される。
図4に示す第1のドット妨害検出部241の構成例では、ラインメモリが不要な構成であり、コスト増が抑制される。すなわち、この第1のドット妨害検出部241では、現在フレームの輝度データYinの現在ラインの画素データと、それに対応する過去フレームの輝度データYin′のラインの画素データが使用される構成であり、ラインメモリは不要である。
また、図4に示す第1のドット妨害検出部241の構成例では、ドット妨害成分の位相が互いに逆位相となる輝度データYin,Yin′の差分値(Yin′−Yin)が算出され、この差分値からドット妨害成分が抽出される。輝度データYin,Yin′にドット妨害成分が含まれている場合、差分値においてはそのレベルが強調されるため、検出精度を高めることができる。
なお、図4に示す第1のドット妨害検出部241の構成例のように、輝度データYin,Yin′の差分値(Yin′−Yin)からドット妨害成分を抽出するのではなく、輝度データYinからドット妨害成分を抽出する構成であってもよい。その場合、減算器241aは不要であり、輝度データYinが直接バンドパスフィルタ241bに供給される。
図2に戻って、第2のドット妨害検出部242は、垂直方向ドット妨害の発生位置を検出する。第2のドット妨害検出部242は、現在フレームの色差データCinから、高域の周波数成分を抽出し、抽出された周波数成分の大きさに応じた検出信号Ddot2を得る。この実施の形態おいて、検出信号Ddot2は0〜8の値をとり、数値が大きいほど垂直方向ドット妨害の発生位置らしさが大であることを示す。
色差信号の周波数が高いとき、YC分離において、色副搬送波(カラーサブキャリア)で振幅変調された搬送色信号が輝度信号に漏れ込みやすくなる。第2のドット妨害検出部242は、このような性質を利用したものである。色差データCinから抽出された高域の周波数成分が大きいとき、その位置にドット妨害が発生している可能性が高い。
図5は、第2のドット妨害検出部242の構成例を示している。この第2のドット妨害検出部242は、ハイパスフィルタ242aと、閾値処理回路242bを有している。現在フレームの色差データCinはハイパスフィルタ242aに供給される。例えば、ハイパスフィルタ242aは、デジタルフィルタで構成され、タップ数およびタップ係数が変更されることで、所望のカットオフ周波数が設定される。
ハイパスフィルタ242aは、色差データCinから高域の周波数成分を抽出する。ハイパスフィルタ242aで抽出された高域の周波数成分は、閾値処理回路242bに供給される。この閾値処理回路242bでは、ハイパスフィルタ242aで抽出された周波数成分の大きさが複数の閾値と比較され、その大きさに応じて0〜8の値が割り当てられ、検出信号Dout2として出力される。
図5に示す第2のドット妨害検出部242の構成例では、ラインメモリが不要な構成であり、コスト増が抑制される。すなわち、この第2のドット妨害検出部242では、現在フレームの色差データCinの現在ラインの画素データが使用される構成であり、ラインメモリは不要である。
図2に戻って、動き検出部245は、現在フレームの輝度データYinおよびフレーム遅延部201で遅延された過去フレームの輝度データYin′に基づいて、画素毎に、静止から動きまでの段階的な動き検出信号αを得る。この実施の形態おいて、動き検出信号αは0〜8の値をとる。ここで、α=8のとき、静止領域を示す。また、α=7〜0のとき動き領域を示し、数値が小さいほど動きが大きいことを示す。
図6は、動き検出部245の構成例を示している。この動き検出部245は、前処理部221,222と、領域内差分値算出部223と、差分値数値化部224と、後処理部225を有している。
前処理部221は、現在フレームの輝度データYinに対して帯域制限等を行う。この帯域制限では、ローパスフィルタを用いて輝度データYinから不要な高域信号(ノイズ成分)を除去することが行われる。前処理部222は、過去フレームの輝度データYin′に対して帯域制限等を行う。この帯域制限では、上述の前処理部221と同様に、ローパスフィルタを用いて輝度データYin′から不要な高域信号(ノイズ成分)を除去することが行われる。
領域内差分値算出部223は、動き検出信号を得る画素毎に、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、図7に示すように、算出領域内の輝度値総和どうしの差分絶対値dif2を求める。ここで、算出領域は、動き検出信号を得る画素を注目画素とし、この注目画素を含みこの注目画素を中心とした、水平幅Whがドット妨害成分の水平方向周期の整数倍で、垂直幅Wvがドット妨害成分の垂直方向周期の整数倍の領域である。
ここで、ドット妨害成分の水平方向周期および垂直方向周期の情報は、上述したように、例えば、デジタルチューナ104(図1参照)で取得される映像データのスケーリング(拡大処理)情報に基づいて認識される。このスケーリング情報は、上述したように、映像データが、オリジナルのSD映像データ(例えば、720×480)に対して水平、垂直の各方向にどれだけ拡大されて得られたものかを示す情報である。そして、このスケーリング情報は、例えば、映像データのサイズ(画サイズ)情報として、あるいは、映像データのSD映像データに対するサイズ比情報等として与えられる。なお、ドット妨害成分の水平方向周期および垂直方向周期の情報は、例えば、ユーザの入力操作で与えられてもよい。
図8は、スケーリング情報が映像データのサイズ情報として与えられる場合における、ドット妨害成分の水平方向周期および垂直方向周期と、算出領域の設定例を示している。この例は、オリジナルのSD映像データの画サイズが720×480の場合の例である。例えば、オリジナル信号形式がNTSC方式で映像データのサイズが1920×1080であるとき、領域内差分値算出部223は、ドット妨害成分の水平方向周期は8〜9画素、その垂直方向周期は4〜5画素と認識する。そして、領域内差分値算出部223は、例えば、算出領域の水平幅Whを9画素に、垂直幅Wvを5画素とする。
なお、上述では、算出領域は注目画素を中心とした領域であると説明した。しかし、注目画素が厳格に算出領域の中心である必要はなく、注目画素は算出領域のほぼ中心であればよい。算出領域の幅が偶数画素となる場合には、その中心には画素が存在し得ないからである。また、図8では、映像データのサイズが1920×1080と720×480の2種類の場合だけを示しているが、映像データのサイズはこの2種類に限定されない。
輝度データYinの算出領域内の各画素の輝度値をnext(i,j)とし、輝度データYin′の算出領域内の各画素の輝度値をprev(i,j)とするとき、上述の算出領域内の輝度値総和どうしの差分絶対値dif2は、以下の(1)式で求められる。
差分値数値化部224は、領域内差分値算出部223で算出された差分絶対値dif2を閾値と比較し、その比較結果に基づいて動き検出信号αを求める。図9は、差分値数値化部224の構成例を示している。この差分値数値化部224は、減算器231と、閾値処理回路232を有している。
差分絶対値dif2は減算器231に供給される。この減算器231には、閾値thも供給される。この減算器231では、差分絶対値dif2から閾値thが差し引かれる。この減算器231の出力データ(dif2−th)は、閾値処理回路232に供給される。閾値処理回路232では、出力データ(dif2−th)に対し、その値に応じて8〜0の値を割り当て、動き検出信号αとして出力する。
ここで、閾値処理回路232は、差分絶対値dif2が閾値th以下であり、出力データ(dif2−th)が0以下であるとき、静止領域を示す8を割り当てる。また、閾値処理回路232は、差分絶対値dif2が閾値thより大きく、出力データ(dif2−th)が正の値となるとき、その値が属する範囲に応じて、動き領域を示す7〜0の値を割り当てる。この場合、閾値処理回路232は、出力データ(dif2−th)が一定値以上のとき、最も動きが大きいことを示す0を割り当てる。
図6に戻って、後処理部225は、差分値数値化部224で得られた動き検出信号αに対して、孤立点除去や広げ処理、平滑化処理等を行って、最終的な動き検出信号αを得る。
図6に示す動き検出部245の動作を説明する。現在フレームの輝度データYinは、前処理部221で帯域制限等の前処理が行われた後に領域内差分値算出部223に供給される。また、過去フレームの輝度データYin′は、現在フレームの輝度データYinと同様に、前処理部222で帯域制限等の前処理が行われた後に領域内差分値算出部223に供給される。
領域内差分値算出部223では、動き検出信号を得る画素毎に、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2が求められる。この差分絶対値dif2は、差分値数値化部224に供給される。
差分値数値化部224では、差分絶対値dif2が閾値thと比較され、その比較結果に基づいて動き検出信号α(0〜8)が求められる。この動き検出信号αは、後処理部225に供給され、孤立点除去や広げ処理、平滑化処理等の後処理が行われて、最終的な動き検出信号αとされる。
図10のフローチャートは、上述の動き検出部245における、ある一つの画素(対象画素)の動き検出信号αを得るための処理手順を示している。
動き検出部245は、ステップST1において、処理を開始する。そして、動き検出部245は、ステップST2において、領域内差分値算出部223により、対象画素(注目画素)を中心とし、水平幅がドット妨害成分の水平方向周期の整数倍で垂直幅がドット妨害成分の垂直方向周期の整数倍の算出領域を設定する。
次に、動き検出部245は、ステップST3において、領域内差分値算出部223により、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2を求める。動き検出部245は、ステップST3の後、ステップST4の処理に移る。
このステップST4において、動き検出部245は、差分値数値化部224により、差分絶対値dif2が閾値thより大きいか否かを判断する。そして、差分絶対値dif2が閾値thより大きいとき、動き検出部245は、ステップST5において、差分値数値化部224により、動き領域とし、差分絶対値dif2と閾値thとの差分に応じて、7〜0を割り当てた動き検出信号αを得る。
一方、ステップST4で差分絶対値dif2が閾値th以下のとき、動き検出部245は、ステップST6において、差分値数値化部224により、静止領域とし、8を割り当てた動き検出信号αを得る。動き検出部245は、ステップST5の処理の後、あるいはステップST6の処理の後、ステップST7において、処理を終了する。
[領域内差分値算出部の変形例]
なお、図6に示す動き検出部245では、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で求められた算出領域内の輝度値総和どうしの差分絶対値dif2に基づいて動き検出信号αを得るようにしている。しかし、この差分絶対値dif2の他に、算出領域内の画素毎の差分絶対値の総和dif1を併せて用いることも考えられる。
この場合、動き検出部245の領域内差分値算出部223では、動き検出信号を得る画素毎に、差分絶対値dif2と共に、算出領域内の画素毎の差分絶対値の総和dif1が求められる。この総和dif1は、図11に示すように、現在フレームの輝度データYinと過去フレームの輝度データYin′との間の演算で求められる。
輝度データYinの算出領域内の各画素の輝度値をnext(i,j)とし、輝度データYin′の算出領域内の各画素の輝度値をprev(i,j)とするとき、上述の算出領域内の画素毎の差分絶対値の総和dif1は、以下の(2)式で求められる。
領域内差分値算出部223では、算出領域内の輝度値総和どうしの差分絶対値dif2と算出領域内の画素毎の差分絶対値の総和dif1との加算平均値dif=(dif1+dif2)/2が求められる。そして、領域内差分値算出部223から差分値数値化部224には、差分絶対値dif2の代わりに、この加算平均値difが供給される。
動き検出部245のその他の部分、すなわち前処理部221,222、差分値数値化部224および後処理部225の構成、動作に関しては上述したと同様とされる。
このように、動き検出部245において、算出領域内の輝度値総和どうしの差分絶対値dif2の他に、算出領域内の画素毎の差分絶対値の総和dif1が併せて用いられることで、動き検出信号αの精度を高めることができる。すなわち、フラットな背景の前を細い線が移動するような、差分絶対値dif2では差分が出ないパターンでも、総和dif1では差分が出るので、検出漏れの発生を防ぐことができる。
図2に戻って、合成部243は、第1のドット妨害検出部241で得られた検出信号Ddot1と第2のドット妨害検出部242で得られた検出信号Ddot2とを合成して、検出信号Ddotを出力する。
例えば、合成部243は、検出信号Ddot1および検出信号Ddot2のうち、大きい方を選択して、検出信号Ddotとして出力する。この場合の合成は論理和的な合成であり、検出信号Ddotの値が大となる領域は広くなる。そのため、この場合には、Y信号平滑化部203で時間方向の平滑化の度合いが強くされる領域が広くなる。
また、例えば、合成部243は、検出信号Ddot1および検出信号Ddot2のうち、小さい方を選択して、検出信号Ddotとして出力する。この場合の合成は論理積的な合成であり、ドット検出信号Ddotの値が大となる領域は狭くなる。そのため、この場合には、Y信号平滑化部203で時間方向の平滑化の度合いが強くされる領域が狭くなる。
また、例えば、合成部243は、検出信号Ddot1および検出信号Ddot2を加算平均し、その値を検出信号Ddotとして出力することも考えられる。さらには、この加算平均を行う際に、検出信号Ddot1および検出信号Ddot2に重み付けを行うことも考えられる。
乗算器244は、合成部243で得られた検出信号Ddotと、動き検出部245で得られた動き検出信号αとの乗算を行って、ドット妨害発生位置の検出信号Ddot′を得る。ここで、合成部243で得られる検出信号Ddotが0〜8の値をとると共に、動き検出部245で得られる動き検出信号αは0〜8の値をとるので、ドット妨害発生位置の検出信号Ddot′は0〜64の値をとる。
Y信号平滑化部203は、ドット妨害検出部202で得られたドット妨害発生位置の検出信号Ddot′に基づいて、輝度データに対して適応的に時間方向の平滑化処理を行い、輝度データに含まれるドット妨害成分を低減する。Y信号平滑化部203は、現在フレームの輝度データYinおよびフレーム遅延部201で遅延された過去フレームの輝度データYin′を入力し、これらの輝度データに対して平滑化処理を行い、ドット妨害成分の低減された出力輝度データYoutを出力する。
図12は、Y信号平滑化部203の構成例を示している。このY信号平滑化部203は、加算器211と、減算器212と、乗算器213と、除算器214,215により構成されている。現在フレームの輝度データYinは、加算器211および減算器212に供給される。過去フレームの輝度データYin′は、減算器212に供給される。減算器212では、輝度データYin′から輝度データYinを差し引く演算が行われる。この減算器212の出力データ(Yin′−Yin)は乗算器213に供給される。
また、ドット妨害検出部202(図2参照)からのドット妨害発生位置の検出信号Ddot′は、除算器215に供給される。この除算器215では、検出信号Ddot′が「8」で割られる。この除算器215の出力データDdot′/8は、乗算器213に供給される。乗算器213では、減算器212の出力データ(Yin′−Yin)に、除算器215の出力データDdot′/8が掛けられる。この乗算器213の出力データ(Yin′−Yin)*Ddot′/8は、除算器214に供給される。この除算器214では、乗算器213の出力データ(Yin′−Yin)*Ddot′/8が「16」で割られる。この除算器214の出力データ(Yin′−Yin)*Ddot′/(8*16)は、加算器211に供給される。加算器211では、現在フレームの輝度データYinに除算器214の出力データ(Yin′−Yin)*Ddot′/(8*16)が加算されて、出力輝度データYoutが得られる。
以下の(3)式は、図12のY信号平滑化部203における輝度データYin、Yin′およびドット妨害発生位置の検出信号Ddot′と、出力輝度データYoutとの関係を表している。
Yout=Yin+(Yin′−Yin)*Ddot′/(8*16) ・・・(3)
ドット妨害検出部202の合成部243(図2参照)から出力される検出信号Ddotの値は、ドット妨害発生位置らしさの度合いを示す。ドット妨害発生位置らしさの度合いが最も高くDdot=8で、また静止領域でα=8である場合、Ddot′=8*8=64となるので、Yout=Yin+(Yin′−Yin)/2となる。この場合、出力輝度データYoutは、ドット妨害成分の位相が互いに逆位相となっている現在フレームの輝度データYinおよび過去フレームの輝度データYin′が加算平均されたものとなり、輝度データに含まれるドット妨害成分が除去される。
また、動画領域の場合、上述したようにα=7〜0である。そして、αの数値が小さいほど動きが大きい。そのため、検出信号Ddotの値が大きくドット妨害発生位置らしさの度合いが高くても、動きが大きくなるほど、Ddot′の値が小さくなるので、平滑化処理が抑制される。そして、α=0、つまり最も動きが大きい場合には、検出信号Ddotの値によらず、Ddot′=0となり、Yout=Yinとなる。この場合、出力輝度データYoutは、現在フレームの輝度データYinそのものとなる。このように、動きが大きくなるほど平滑化処理が抑制される。そのため、動き領域においてぼやけ等の副作用の発生が効果的に抑制される。
図2に示すドット妨害成分の除去処理部200の動作を説明する。現在フレームの輝度データYinは、Y信号平滑化部203に供給される。また、この輝度データYinは、フレーム遅延部201に供給される。そして、このフレーム遅延部201で遅延されて得られた過去フレームの輝度データYin′は、Y信号平滑化部203に供給される。
また、現在フレームの輝度データYinおよび過去フレームの輝度データYin′は、ドット妨害検出部202の第1のドット妨害検出部241に供給される。この第1のドット妨害検出部241では、水平方向ドット妨害の発生位置が検出される。すなわち、第1のドット妨害検出部241では、現在フレームの輝度データYinと過去フレームの輝度データYin′の間の差分値が求められ、その差分値からドット妨害成分が抽出され、抽出されたドット妨害成分の大きさに応じた検出信号Ddot1が得られる。この検出信号Ddot1は、0〜8の値をとり、数値が大きいほど水平方向ドット妨害の発生位置らしさが大であることを示すものとなる。
また、現在フレームの色差データCinは、ドット妨害検出部202の第2のドット妨害検出部242に供給される。この第2のドット妨害検出部242では、垂直方向ドット妨害の発生位置が検出される。すなわち、この第2のドット妨害検出部242では、現在フレームの色差データCinから、高域の周波数成分が抽出され、抽出された周波数成分の大きさに応じた検出信号Ddot2が得られる。この検出信号Ddot2は、0〜8の値をとり、数値が大きいほど垂直方向ドット妨害の発生位置らしさが大であることを示すものとなる。
また、現在フレームの輝度データYinおよび過去フレームの輝度データYin′は、ドット妨害検出部202の動き検出部245に供給される。この動き検出部245では、現在フレームの輝度データYinおよび過去フレームの輝度データYin′に基づいて、画素毎に、静止から動きまでの段階的な動き検出信号αが得られる。この動き検出信号αは、0〜8の値をとり、α=8のとき静止領域を示し、α=7〜0のとき動き領域を示し、数値が小さいほど動きが大きいことを示すものとなる。
第1のドット妨害検出部241で得られた検出信号Ddot1および第2のドット妨害検出部242で得られた検出信号Ddot2は、合成部243に供給される。この合成部243では、検出信号Ddot1,Ddot2が合成されて、検出信号Ddotが出力される。この合成部243では、例えば、検出信号Ddot1および検出信号Ddot2のうち大きい方、あるいは小さい方が選択され、検出信号Ddotとして出力される。検出信号Ddot1,Ddot2は、いずれも0〜8の値をとるので、合成部243から出力される検出信号Ddotも0〜8の値をとる。
この検出信号Ddotは乗算器244に供給される。また、この乗算器244には、動き検出部245で得られた動き検出信号αも供給される。この乗算器244では、検出信号Ddotと動き検出信号αとの乗算が行われて、ドット妨害発生位置の検出信号Ddot′が得られる。検出信号Ddotが0〜8の値をとり、動き検出信号αが0〜8の値をとるので、このドット妨害発生位置の検出信号Ddot′は0〜64の値をとる。この検出信号Ddot′は、ドット妨害検出部202の出力として、Y信号平滑化部203に供給される。
Y信号平滑化部203では、ドット妨害発生位置の検出信号Ddot′に基づいて、現在フレームの輝度データYinおよび過去フレームの輝度データYin′に対して適応的に時間方向の平滑化処理が行われ、輝度データに含まれるドット妨害成分が除去される。
この場合、基本的には、動き検出信号αが大きな値で得られる領域(静止領域あるいは動きの小さな領域として検出される領域)では検出信号Ddot′の値が大きくなるので、平滑化の度合いが強くされ、ドット妨害成分の除去能力が高くされる。しかし、動き検出信号αが大きな値で得られる領域であっても、水平方向ドット妨害、垂直方向ドット妨害の発生位置らしさが低い領域では、合成部243のからの検出信号Ddotにより検出信号Ddot′の値が小さく調整されるので、平滑化の度合いが弱くされ、ドット妨害成分の除去能力が低くされる。
図13のフローチャートは、上述のドット妨害成分の除去処理部200における、ある一つの画素(対象画素)に対する処理手順を示している。
除去処理部200は、ステップST11において、処理を開始する。そして、除去処理部200は、ステップST12において、第1のドット妨害検出部241により、現在フレームの輝度データYin、過去フレームの輝度データYin′に基づいて、対象画素の水平方向ドット妨害の発生位置らしさを示す検出信号Ddot1を得る。
次に、除去処理部200は、ステップST13において、ドット妨害検出部202の第2のドット妨害検出部242により、現在フレームの色差データCinに基づいて、対象画素の垂直方向ドット妨害の発生位置らしさを示す検出信号Ddot2を得る。
次に、除去処理部200は、ステップST14において、動き検出部245により、現在フレームの輝度データYinおよび過去フレームの輝度データYin′に基づいて、対象画素が、静止から動きまでのどの段階の領域であるかを示す動き検出信号αを得る。なお、ステップST12〜ステップST14の処理順は、図13のフローチャートに示す順に限定されない。
次に、除去処理部200は、ステップST15において、合成部243、乗算器244により、ステップST12〜ステップST14で得られた検出信号Ddot1,Ddot2および動き検出信号αに基づいて、ドット妨害発生位置の検出信号Ddot′を生成する。
次に、除去処理部200は、ステップST16において、Y信号平滑化部203により、ステップST15で生成されたドット妨害発生位置の検出信号Ddot′に基づいて、ドット妨害成分を除去する。すなわち、現在フレームの輝度データYinおよび過去フレームの輝度データYin′に対して適応的に時間方向の平滑化処理を行い、対象画素の輝度データに含まれるドット妨害成分を除去する。除去処理部200は、ステップST16の処理の後、ステップST17において、処理を終了する。
図2に示す除去処理部200において、ドット妨害検出部202では、水平方向ドット妨害、垂直方向ドット妨害の発生位置の検出信号Ddot1,Ddot2の他に動き検出信号αが用いられて、最終的なドット妨害発生位置の検出信号Ddot′が得られる。
そのため、動き検出信号αが大きい値であっても、水平方向ドット妨害、垂直方向ドット妨害の発生位置らしさが低い領域では、合成部243のからの検出信号Ddotにより検出信号Ddot′の値が小さく調整される。そのため、動きの大きな領域が静止領域あるいは動きの小さな領域として誤検出されても、ドット妨害発生位置の検出により、Y信号平滑化部203における輝度データの時間方向の平滑化処理が弱められるので、ぼやけ等の副作用の発生を抑制できる。
<2.変形例>
なお、上述実施の形態において、図2に示すドット妨害成分の除去処理部200は非巡回型の構成である。しかし、同様のドット妨害検出部を持つドット妨害成分の除去処理部を巡回型の構成とすることも考えられる。図14は、ドット妨害成分の除去処理部200Aの構成例を示している。この図14において、図2と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
この除去処理部200Aは、動き検出部202と、輝度(Y)信号平滑化部203と、フレーム遅延部204を有している。フレーム遅延部204は、巡回型処理を行うために、Y信号平滑化部203の出力輝度データYoutを遅延した輝度データYout′を出力する。このフレーム遅延部204の遅延時間は、輝度データYinを得るために用いられたオリジナルのSD映像データの信号形式(オリジナル信号形式)がNTSC方式、PAL方式のいずれでも、1フレーム(2フィールド)とされる。
オリジナル信号形式がNTSC方式である場合、現在フレームの輝度データYoutと、フレーム遅延部204で1フレーム遅延された過去フレームの輝度データYout′とで、ドット妨害成分の位相は互いに逆位相となる。一方、オリジナル信号形式がPAL方式である場合、現在フレームの輝度データYoutと、フレーム遅延部204で1フレーム遅延された過去フレームの輝度データYout′とで、ドット妨害成分の位相は互いに1/4位相(90度)だけずれたものとなる。
ドット妨害検出部202は、現在フレームの輝度データYinおよびフレーム遅延部204で遅延されて得られた輝度データYout′、さらには現在フレームの色差データCinに基づいて、ドット妨害発生位置の検出信号Ddot′を得る。このドット妨害検出部202は、図2のドット妨害成分の除去処理部200における動き検出部202と同様の構成とされ、同様の処理により、ドット妨害発生位置の検出信号Ddot′(0〜64)を取得する。
すなわち、ドット妨害検出部202は、水平方向ドット妨害の発生位置を検出すると共に、垂直方向ドット妨害の発生位置を検出する。また、このドット妨害検出部202は、入力映像データ(入力映像信号)を構成する輝度データに基づいて、画素毎に、静止から動きまでの段階的な動き検出信号を得る。そして、ドット妨害検出部202は、水平方向および垂直方向のドット妨害の発生位置検出信号および動き検出信号に基づいて、ドット妨害発生位置の検出信号Ddot′を得る。
Y信号平滑化部203は、ドット妨害検出部202で得られたドット妨害発生位置の検出信号Ddot′に基づいて、輝度データに対して適応的に時間方向の平滑化処理を行い、輝度データに含まれるドット妨害成分の除去を行う。Y信号平滑化部203は、現在フレームの輝度データYinおよびフレーム遅延部204で得られた輝度データYout′を入力し、ドット妨害成分の除去された出力輝度データYoutを出力する。このY信号平滑化部203は、図2のドット妨害成分の除去処理部200におけるY信号平滑化部203と同様の構成とされ、同様の平滑化処理によりドット妨害成分を、適応的に除去する。
図14に示す除去処理部200Aにおいては、ドット妨害検出部202では、水平方向ドット妨害、垂直方向ドット妨害の発生位置の検出信号Ddot1,Ddot2の他に動き検出信号αが用いられて、最終的なドット妨害発生位置の検出信号Ddot′が得られる。
そのため、検出信号Ddot1,Ddot2が大きい値であっても、動き領域では、動き検出信号αにより、ドット妨害発生位置の検出信号Ddot′が小さくなるように調整される。そのため、動き領域ではY信号平滑化部203における輝度データの平滑化処理が弱められるので、ドット妨害発生位置の誤検出があっても、ぼやけ等の副作用の発生を抑制できる。図14に示す除去処理部200Aにおいては、ぼやけ等の副作用が顕著になる巡回型の構成ではあるが、この副作用の発生を効果的に抑制できる。
なお、上述実施の形態において、動き検出部245は、まず、動き検出信号を得る画素毎に、現在フレームの輝度データYinと過去フレームの輝度データYin′との間で、算出領域内の輝度値総和どうしの差分絶対値dif2を求める。そして、この動き検出部245は、この差分絶対値dif2に基づいて、動き検出信号α(0〜8)を得ている。
しかし、動き検出信号αを得るための手法はこれに限定されない。例えば、注目画素の動きベクトルを算出し、その動きベクトルの絶対値に基づいて注目画素の動き検出信号を得ることもできる。動きベクトルの算出には、テンプレートのマッチングを用いる方法が代表的である。この手法は処理が複雑で高コストであるものの、より高精度に動き判定を行うことができる。そのため、前後の画像処理で、例えばIP変換やハイフレームレート化等で動きベクトルが計算されている場合には、それを流用することができ、より効率的に高精度な動き検出処理を行うことができる。
また、上述実施形態においては、ドット妨害成分の除去処理部200,200Aがハードウェアで構成されるように説明した。しかし、この除去処理部200,200Aにおける一部または全部の処理をソフトウェアで実現することも可能である。その場合、CPU、ROM、RAM等からなるコンピュータ装置において、例えばROM等に格納された処理プログラムがRAM上に展開されてCPUで実行される。