JP5375830B2 - 映像信号処理装置 - Google Patents

Description

本発明は、３Ｄ立体表示を行う際の右目用映像と左目用映像に対して両者の視差を利用してＭＰＥＧ２方式やＭＰＥＧ４−ＡＶＣ／Ｈ．２６４方式などの符号化処理により発生する符号化ノイズを低減することを可能にする映像信号処理に関する。

映像表示装置において、３Ｄ立体表示を得るために様々な方法が検討されている。対象物の右目用映像と左目用映像とを用意し、これらをそれぞれ右目および左目で見せるような仕組みを提供し、対象物を立体視させる方法が、よく知られている。通常、人間が目で何かを見る場合、同じ対象物を見ていても右目と左目とで見える像には、視差が生じる。この視差により、人間は見ている対象物を立体的に捉えたり、その対象物の奥行きを感じたりすることができる。従って、この視差を持った右目用映像信号と左目用映像信号を用意することで、対象物を立体視することができる映像表示装置が実現される。

次に、右目用映像と左目用映像との視差について説明する。例えば、右目用映像における対象物が左側に、左目用映像における対象物が右側にと、ずれればずれるほど、これらの映像を見ている人間には、対象物が手前側に飛び出しているように見える。また、逆に右目用映像における対象物が右側に、左目用映像における対象物が左側にと、ずれればずれるほど、これらの映像を見ている人間には、対象物が奥行き側に引っ込んでいるように見える。また、視差がなく右目用映像と左目用映像とが同じ場合には、対象物は、映像表示装置の表示面の位置にあるように見える。このような立体視することができる視差を持った映像は、同じカメラを水平に２台並べて撮影することで簡単に得ることができる。この際、通常、右目用のカメラは右側に、左目用のカメラは左側に配置する。

また、３Ｄ立体視のための映像表示装置として様々な方式が提案されている。例えば、アクティブシャッタ方式は、右目用映像と左目用映像とを時系列に並べて順次表示する。そして、右目用レンズと左目用レンズとが右目用映像と左目用映像のそれぞれに合わせて開閉するシャッターメガネを使うことにより、右目用映像は右目のみで、左目用映像は左目のみで見ることになる。このようにして、対象物を立体視することが可能になる（特許文献１参照）。

このような対象物を立体視するための映像信号を伝送する場合、右目用映像信号と左目用映像信号とをそれぞれ送る必要がある、したがって、そのまま右目用映像信号と左目用映像信号とを伝送すると、伝送レートが通常の場合と比べて、２倍になる。

例えば、図７Ａに示すフィールドシーケンシャル方式は、左目用映像Ｌと右目用映像Ｒとをフレーム毎に時系列に配列して送る方式である。この方式では、立体視をしない場合、すなわち２次元表示に対して垂直解像度・水平解像度共に劣化のない信号が得られる。しかしながら、伝送レートが通常の場合と比べて、２倍になる。

そこで伝送レートを抑えるため、図７Ｂ、７Ｃ、７Ｄに示すような数種類の方式が開示されている。図７Ｂに示すサイドバイサイド方式は、水平解像度が１／２の右目用映像Ｒと左目用映像Ｌとを１フレームの右半分と左半分とに配置して送る方式である。しかしながら、この方式では、水平解像度に劣化が生じる。また、図７Ｃに示す垂直インターリーブ方式は、垂直方向に１ライン毎に左目用映像Ｌと右目用映像信号Ｒとを多重して送信する方式である。しかしながら、この方式では、垂直解像度に劣化が生じる。さらに、図７Ｄに示すチェッカパタン方式は、画素毎に右目用映像Ｒと左目用映像Ｌを千鳥模様に配列して送る方式である。しかしながら、この方式では、水平解像度・垂直解像度共に劣化が生じる。

このような種々の方式によって伝送される映像信号は、近年のデジタル放送などで使用されるＭＰＥＧ２符号化方式やＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式などにより符号化処理された後に伝送する、あるいは蓄積メディアに記録されることが想定される。これの符号化処理により、データ量を圧縮することで伝送効率を高めることが可能となる。しかし、符号化処理により、圧縮処理に伴う符号化ノイズが発生し、画質劣化の要因ともなる。符号化ノイズには、一連の符号化処理をブロック単位で行うことにより、そのブロックの境界部に発生するブロックノイズや、量子化処理などに起因するリンギングノイズ（モスキートノイズとも言う）がある。従来から、これらの符号化ノイズに対しては、そのノイズを検出し、フィルタ処理などによりノイズを低減する手法が提案されている（参考文献２参照）。

このような手法では、高域通過フィルタ（以下、ＨＰＦ（Ｈｉｇｈ Ｐａｓｓ Ｆｉｌｔｅｒ）と略記する）や帯域通過フィルタ（以下、ＢＰＦ（Ｂａｎｄ Ｐａｓｓ Ｆｉｌｔｅｒ）と略記する）により、映像信号からノイズを抽出する。しかし、実際には映像信号中の絵柄との区別が難しく誤検出をする場合が多いため、フィルタ処理により絵柄がぼけるといった副作用が発生する。また、フィルタの特性によっては、ノイズ低減効果が得にくいといった課題がある。

このように従来の技術では、３Ｄ立体表示の映像信号に対しＭＰＥＧ２やＨ．２６４の符号化処理をした場合に発生するブロックノイズやリンギングノイズといった符号化ノイズを低減する場合、実際にはノイズと映像中の絵柄との区別が難しく誤検出をすることが多い。その結果、ノイズ低減用のフィルタ処理により絵柄がぼけたり、フィルタの特性によってはノイズ低減効果が得にくいといった課題がある。

特開２００２−２６２３１０号公報 特開２０００−３４１５５８号公報

本発明の映像信号処理装置は、視差を有する右目用映像信号と左目用映像信号とにより立体画像を表示する立体画像表示装置において、視差検出部と符号化ノイズ検出部と符号化ノイズ除去部とを備えている。視差検出部は、ＭＰＥＧ２符号化方式やＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式などにより符号化された映像信号をデコードした右目用映像信号と左目用映像信号とから視差を検出し、検出した視差を視差検出信号として出力する。符号化ノイズ検出部は、右目用映像信号と左目用映像信号とから符号化処理により発生する符号化ノイズを検出し、かつ視差検出信号に基づき、補正した符号化ノイズ検出信号を出力する。符号化ノイズ除去部は、符号化ノイズ検出信号を用いて、右目用映像信号と左目用映像信号とからフィルタ処理により符号化ノイズを低減、および視差検出信号に基づき、右目用映像信号と左目用映像信号とにおけるノイズ発生画素のデータを、視差だけずれたノイズの発生していないもう一方の映像の対応する画素データと置換処理をすることにより符号化ノイズを低減、の少なくとも一方を行う。

このような構成により、右目用映像信号と左目用映像信号の間の視差を検出し、これを符号化ノイズ検出やノイズ除去処理に利用することにより、符号化ノイズ検出の精度を高めたり、フィルタ処理による絵柄がぼけるといった弊害を低減させる。

また、本発明の映像信号処理方法は、視差を有する右目用映像信号と左目用映像信号とにより立体画像を表示する立体画像表示装置において、視差検出ステップと符号化ノイズ検出ステップと符号化ノイズ除去ステップとを備えている。視差検出ステップは、視差検出部において、ＭＰＥＧ２符号化方式やＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式などにより符号化された映像信号をデコードした右目用映像信号と左目用映像信号とから視差を検出し、視差検出信号として出力する。符号化ノイズ検出ステップは、符号化ノイズ検出部において、右目用映像信号と左目用映像信号とから符号化処理により発生する符号化ノイズを検出し、かつ視差検出信号に基づき、補正した符号化ノイズ検出信号を出力する。符号化ノイズ除去ステップは、符号化ノイズ除去部において、符号化ノイズ検出信号を用いて、右目用映像信号と左目用映像信号とからフィルタ処理により符号化ノイズを低減、および視差検出信号に基づき、右目用映像信号と左目用映像信号とにおけるノイズ発生画素のデータを、視差だけずれたノイズの発生していないもう一方の映像の対応する画素データと置換処理をすることにより符号化ノイズを低減、の少なくとも一方を行う。

図１は、本発明の実施の形態における映像信号処理装置の構成を示すブロック図である。 図２は、本発明の実施の形態における映像信号入力、表示を示す図である。 図３Ａは、本発明の実施の形態におけるブロックノイズを示す図である。 図３Ｂは、本発明の実施の形態におけるリンギングノイズを示す図である。 図４は、本発明の実施の形態におけるブロックノイズの検出結果の例を示す図である。 図５は、本発明の実施の形態におけるリンギングノイズの検出結果の例を示す図である。 図６は、本発明の実施の形態における映像信号処理装置において映像信号処理の流れを示すフローチャートである。 図７Ａは、従来の３Ｄ立体表示における伝送フォーマットを示す図である。 図７Ｂは、従来の３Ｄ立体表示における伝送フォーマットを示す図である。 図７Ｃは、従来の３Ｄ立体表示における伝送フォーマットを示す図である。 図７Ｄは、従来の３Ｄ立体表示における伝送フォーマットを示す図である。

（実施の形態）
図１は、本発明の実施の形態における映像信号処理装置の構成を示すブロック図である。以下、本発明の実施の形態について、図面を参照しながら説明する。図１に示すように、本実施の形態における映像信号処理装置は、映像信号入力端子２０１を有する視差検出部２０２と、符号化ノイズ検出部２０３と、映像信号出力端子２０５を有する符号化ノイズ除去部２０４とにより構成されている。映像信号入力端子２０１には、ＭＰＥＧ２符号化方式やＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式などにより符号化されたものをデコードした右目用映像信号２０１Ｒと左目用映像信号２０１Ｌとが入力され、映像信号出力端子２０５からは、映像信号処理装置により信号処理された右目用映像信号２０５Ｒ及び左目用映像信号２０５Ｌが出力される。

視差検出部２０２は、右目用映像信号２０１Ｒと左目用映像信号２０１Ｌを入力する。そして、視差検出部２０２は、右目用映像信号２０１Ｒと左目用映像信号２０１Ｌに対して両者の視差を検出し、視差検出信号２１０として出力する。また、符号化ノイズ検出部２０３は、右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌを入力して、ブロックノイズやリンギングノイズといった符号化ノイズを検出する。符号化ノイズ検出部２０３は、視差検出部２０２において検出された右目用映像信号２０１Ｒと左目用映像信号２０１Ｌの間の視差検出結果である視差検出信号２１０を用いて、さらに検出した符号化ノイズを低減するように符号化ノイズの検出結果を補正する。そして、符号化ノイズ検出信号２１２として出力する。この補正方法については、後に詳細に説明する。

符号化ノイズ除去部２０４は、符号化ノイズ検出部２０３の出力する符号化ノイズ検出信号２１２を用いてフィルタ処理により右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌから符号化ノイズを低減する。また、符号化ノイズ除去部２０４は、視差検出部２０２の出力する視差検出信号２１０を用いて、右目用映像信号２０１Ｒと左目用映像信号２０１Ｌとの一方におけるノイズ発生画素のデータをそれらの視差だけずれたノイズの発生していない他方の映像信号の対応する画素データと置き換えることにより、ノイズを低減する。

以下、具体例を挙げて映像信号処理装置の動作を説明する。右目用映像信号２０１Ｒと左目用映像信号２０１Ｌは、例えば図２に示す表示映像３０５として表示装置に表示されるような映像信号を想定する。右目用映像３０１とそれに対応する左目用映像３０３には、それぞれ視差を持った台形状の物体（三角形と四角形から構成される物体）がある。そして、右目用映像３０１と左目用映像３０３との関係は、図２に示すように左目用映像３０３が右目用映像３０１に比べて右にずれている。これらのような映像を表示装置に映し立体視用のメガネを使わずにみると、図２の表示映像３０５のように右目用映像３０１と左目用映像３０３とが重なって見える。

上記したように表示される右目用映像信号２０１Ｒおよび左目用映像信号２０１ＬをＭＰＥＧ２符号化方式やＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式などにより符号化し、さらにそれをデコード処理した映像信号が、映像信号入力端子２０１に入力される。この場合、デコード処理により、入力された映像信号である右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌにはブロックノイズやリンギングノイズ（モスキートノイズとも言う）が発生することがある。これらのノイズは圧縮率が大きい場合、すなわち、ビットレートが小さくなればなるほど発生しやすくなり、また目につきやすくなる。

ここで、図２の表示映像３０５に対応する映像信号に対してデコード処理を行った結果、例えば図３に示すように右目用映像４０１および左目用映像４０７にブロックノイズ４０６やリンギングノイズ４１２が発生する場合を想定する。そして、上記したような場合の右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌが、映像信号入力端子２０１に入力されるものとする。図３には、例として、右目用映像４０１に含まれるブロックノイズ４０６と、左目用映像４０７に含まれるリンギングノイズ４１２とを示している。なお、図３には、それぞれの映像におけるブロック境界４０４、４１０も示している。なお、右目用映像４０１、左目用映像４０７の一部であるブロックノイズ発生領域４０３，リンギングノイズ発生領域４０９を部分拡大した図もそれぞれ示している。

次に、図１に示した各ブロックの具体的な動作について、図３を用いて詳細に説明する。

まず、視差検出部２０２は、右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌに対して両者の視差を検出する。視差の検出にはいろいろな方法が考えられるが、例えば右目用映像信号２０１Ｒの着目画素に対し、視差検出部２０２は、左目用映像信号２０１Ｌの同じ位置にある画素およびその周辺にある画素との差分をとる。そして、視差検出部２０２は、その差分の絶対値が最も小さい画素が相関のある画素、すなわち視差分だけずれた画素であると判断する。そして、視差検出部２０２は、着目画素とその視差分だけずれた画素との方向と距離とを視差検出信号２１０として出力する。

なお、視差が大きい場合には視差検出部２０２は、右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌの差分をとる対象画素の範囲を広げる必要がある。また、視差検出部２０２は、検出精度を上げるため着目画素の周辺にある複数の画素の検出結果も用いて、同一の検出結果を持つ画素数が最も多い視差検出結果を着目画素の検出結果としてもよい。このようにする理由は、右目用映像信号２０１Ｒと左目用映像信号２０１Ｌの間の視差は、周辺画素を含めたある程度まとまった範囲で同一の視差となることが多いということによる。特に符号化ノイズの発生している場合、ノイズにより相関が正しく取れない場合があるため、視差検出部２０２は、このように着目画素の周辺画素まで拡張して検出を行うことにより、検出精度を高めることができる。また視差検出部２０２は、差分を取る前に低域通過フィルタ（以下、ＬＰＦ（Ｌｏｗ Ｐａｓｓ Ｆｉｌｔｅｒ）と略記する）やＢＰＦによりノイズ成分を除去してノイズの影響を抑えてもよい。なお、視差検出信号２１０は、表示画面上において方向と距離とを含むものであり、ベクトルである。また、視差検出においては右目用映像信号２０１Ｒと左目用映像信号２０１Ｌのどちらに着目画素をとってもよい。

次に、符号化ノイズ検出部２０３では、まず符号化処理により発生したブロックノイズ４０６やリンギングノイズ４１２（モスキートノイズとも言う）を右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌに対してそれぞれ検出する。これらのノイズの検出には、様々な検出方法が考えられる。

ブロックノイズ４０６を検出する場合、例えばデコーダにて映像信号をデコードする際に処理単位となるのは映像信号のブロックであるため、符号化ノイズ検出部２０３は、映像信号のブロック境界４０４を利用してもよい。すなわち、符号化ノイズ検出部２０３は、ブロックの境界情報と右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌと対比する。そして、符号化ノイズ検出部２０３は、ブロック境界４０４付近で絵柄のエッジ（輪郭）と平坦度と信号レベルとの連続性をチェックし、ブロック境界４０４を挟む複数の画素間において、これらの少なくとも１つが不連続になっている場合には上記した複数の画素をブロックノイズ４０６として検出する。

具体的には符号化ノイズ検出部２０３は、例えば、空間方向のＨＰＦによりエッジ（輪郭）の信号成分を抽出する。そして、符号化ノイズ検出部２０３は、上記したエッジとブロック境界４０４の周辺画素において空間方向のＨＰＦにより抽出された信号成分とを比較し、信号成分のレベルの差を閾値と比較する。そして閾値と比べて大きければ、信号成分に相関がないとする。ここで、閾値は、符号化ビットレートや画像内容に応じて設定されるべきである。したがって、符号化ノイズ検出部２０３は、上記したように信号成分に相関がない場合、画像は不連続であって、ブロックノイズ４０６が発生していると判定する。すなわち、符号化ノイズ検出部２０３は、ブロック境界４０４を挟む複数の画素間で空間方向のＨＰＦにより、信号成分を抽出し、複数の画素間の信号成分に相関が無い場合、その複数の画素をブロックノイズ４０６として検出してもよい。

また、抽出したエッジの信号成分のレベルがある閾値より大きく、かつ、その周辺画素において空間方向のＨＰＦにより抽出された信号成分のレベルが別の閾値より小さければ、ブロックノイズ４０６が発生していると判定することもできる。なお、これらの閾値も、符号化ビットレートや画像内容に応じて設定されるべきである。さらに、例えば画像上の縦および横方向の画素間のレベルの差分に関する連続性を算出し、不連続の場合、ブロックノイズ４０６が発生していると判定することもできる。なお、映像信号のブロックの境界情報は、デコーダにより検出できる場合、これを符号化ノイズ検出部２０３に入力すればよい。

また、符号化ノイズ検出部２０３は、平坦度の連続性でブロックノイズ４０６の発生を判定してもよい。すなわち、平坦部では信号レベルの変動が小さく、ＨＰＦによる抽出成分がほとんどないため、符号化ノイズ検出部２０３は、ブロックノイズ４０６に起因する信号のレベル差を検出することができる。

また、符号化ノイズ検出部２０３は、境界情報がデコーダから入力されない場合においても、映像信号からブロックノイズ４０６をある程度検出することができる。例えば、ＨＰＦ抽出成分を空間方向（水平、垂直方向）に累積し、その分布によりブロック境界４０４を推定してもよい。これはＭＰＥＧ２方式の場合、ブロック境界４０４は水平、垂直方向に定位であるため上記したＨＰＦによる抽出成分の累積値は、ブロック境界４０４の位置に合わせて周期的に増減を繰り返す（境界位置では累積値が大きい）ことが多い。したがって、上記した方法により符号化ノイズ検出部２０３は、ブロック境界４０４を特定することができる。

Ｈ．２６４方式の場合、ブロックサイズは可変であるが４画素、８画素の単位であることが多い。したがって、符号化ノイズ検出部２０３は、これを考慮した判定を行えば、ブロック境界４０４を特定することは可能である。また、平坦度の連続性による判定結果を同様に水平、垂直方向に拡張して判定することでブロック境界４０４を推定することも可能である。

一方、リンギングノイズ４１２の検出の場合、例えば、映像信号から検出する方法として、まずＨＰＦにより右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌとから高周波帯域成分を抽出し、この高周波帯域成分のレベルが第一所定値以上に大きな画素を大振幅エッジとして検出する。なお、上記した第一所定値は、例えば符号化ビットレートや画像内容に応じて設定されるべきである。そして、符号化ノイズ検出部２０３は、さらにこの大振幅エッジの近傍の画素についてＢＰＦにより特定の帯域を有する成分を抽出する。そして、抽出した特定の帯域成分のレベルが第二所定値以上であれば、これらの画素をリンギングノイズ４１２として検出してもよい。これはリンギングノイズ４１２が大振幅エッジ付近の平坦度の高い部分に発生する小〜中レベルの変動であることが多いためである。なお、第二所定値は、右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌの符号化ビットレートや大振幅エッジのレベルに応じて設定値を変更することができる。また、右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌのシーンやジャンルから、適宜設定することも可能である。

また、このリンギングノイズ４１２は大振幅エッジと同じ符号化処理ブロック内でのみ発生する。したがって、処理ブロックを定めるブロック境界が予め分かる場合には、検出された大振幅エッジと同じブロック内にあるか判別することでリンギングノイズ４１２の検出精度を高めることができる。このような方法により、右目用映像信号２０１Ｒおよび左目用映像信号２０１Ｌについてブロックノイズ４０６とリンギングノイズ４１２との検出を行う。

ここで、本実施の形態における符号化ノイズ検出部２０３は、上述した動作に加えて、さらに、視差検出部２０２において検出された視差検出信号２１０に基づき、検出された符号化ノイズの検出結果から補正した符号化ノイズ検出信号２１２を出力する。このような動作を行うために、符号化ノイズ検出部２０３は、右目用映像信号２０１Ｒと左目用映像信号２０１Ｌの一方における着目画素に対し、これに対応する他方の映像信号における画素位置を視差検出部２０２から出力される視差検出信号２１０から求める。そして、符号化ノイズ検出部２０３は、この画素位置における対応画素を参照して、着目画素を補正する。以下では、上記した符号化ノイズ検出部２０３の動作の詳細について説明する。

図４は、本実施の形態におけるブロックノイズ４０６の検出結果の例を示す図である。図４には、右目用映像５０１と左目用映像５０３とをブロック境界５０５，５０６および視差量５０９とともに示している。なお、この例では、視差量５０９は５画素としている。図４に示すように、例えば着目画素５０７を右目用映像５０１のブロック境界５０５にあるブロックノイズ４０６の発生している画素とする。すなわち、図４では、ブロックノイズ４０６の発生している画素は、斜線を付加して示している。したがって、ブロックノイズ４０６の発生している着目画素５０７に対応する視差量５０９だけずれた位置にある左目用映像５０３の画素位置は、着目画素５０７から右に５画素の位置にある対応画素５１１となる。図４に示すように、この例では、対応画素５１１には、ブロックノイズ４０６が発生していない。したがって、これらの着目画素５０７、対応画素５１１における検出結果によりブロックノイズ４０６の検出結果を補正することができる。

ここで、符号化ノイズ検出部２０３におけるブロックノイズ４０６の検出結果の補正について詳細に説明する。

まず、例えばデコーダから境界情報が入力される場合のように、予めブロック境界５０５、５０６が分かる場合について説明する。この場合には、次のような補正方法が考えられる。右目用映像５０１の着目画素５０７および左目用映像５０３の対応画素５１１のどちらの検出結果も「ノイズあり」の場合、かつ着目画素５０７と対応画素５１１がともにブロック境界５０５，５０６にある場合、すなわち視差量５０９がブロックの構成画素数（ＭＰＥＧ２なら８画素）と等しい場合、あるいはその整数倍の場合、符号化ノイズ検出部２０３は、検出結果を有効にする。しかし、着目画素５０７と対応画素５１１のどちらか一方でもブロック境界５０５、５０６になければ誤検出の可能性があるものとして、符号化ノイズ検出部２０３は、どちらの検出結果も無効とし「ノイズなし」とする。また着目画素５０７と対応画素５１１のどちらの画素の検出結果も「ノイズなし」の場合、符号化ノイズ検出部２０３は、そのままどちらの検出結果も有効とし「ノイズなし」とする。また着目画素５０７と対応画素５１１のどちらか一方の検出結果が「ノイズあり」で、もう一方が「ノイズなし」である場合、「ノイズあり」の画素がブロック境界５０５、５０６にあれば、符号化ノイズ検出部２０３は、そのままどちらの検出結果も有効とし、「ノイズあり」の画素がブロック境界５０５、５０６になければ検出結果を無効としどちらも「ノイズなし」とする。このような補正を行うことにより誤検出の発生を抑えることが可能となる。

なお、ブロック境界５０５に沿って縦に並ぶ複数の画素５０８の検出結果を使用して、よりブロックノイズ４０６の検出精度をあげることもできる。例えば、着目画素５０７を中心に連続して並ぶ複数の画素５０８の検出結果から数の多い方の検出結果を着目画素５０７の検出結果として補正処理を行うことも可能である。そしてさらに、補正した後に複数の画素５０８の補正後の結果も含めて最終的な検出結果とすることも可能である。

次に、予めブロック境界５０５、５０６が分からない場合の補正について説明する。例えば次のような補正方法が考えられる。着目画素５０７と対応画素５１１のどちらの画素の検出結果も「ノイズなし」の場合、符号化ノイズ検出部２０３は、そのままどちらの検出結果も有効とし「ノイズなし」とする。また着目画素５０７と対応画素５１１のどちらか一方の検出結果が「ノイズあり」でもう一方が「ノイズなし」である場合、符号化ノイズ検出部２０３は、視差により「ノイズなし」の画素はブロック境界から外れたと判断し、そのままどちらの検出結果も有効とする。また着目画素５０７と対応画素５１１のどちらの画素の検出結果も「ノイズあり」の場合、符号化ノイズ検出部２０３は、視差量５０９がブロックの構成画素数（ＭＰＥＧ２なら８画素）と等しい、あるいはその整数倍であるとし、どちらの画素の検出結果もそのまま有効とすることもできる。また、符号化ノイズ検出部２０３は、どちらの検出結果もブロックノイズ４０６ではなく、ノイズ検出に合致するパターン（絵柄）、すなわち誤検出であるとして左右どちらの検出結果も無効とし「ノイズなし」と補正することもできる。

また、符号化ノイズ検出部２０３は、連続して並ぶ複数の画素５０８の検出結果を考慮し、「ノイズあり」の検出結果が右目用映像５０１および左目用映像５０３でどちらも連続して並ぶ場合には、ノイズであると判断し、着目画素５０７の検出結果をそのまま有効としてもよい。この例ではブロック境界５０５、５０６が縦方向なら縦に並ぶ複数の画素５０８であるが、例えば境界が横方向なら横に並ぶ複数の画素でも適用できる。また、符号化ノイズ検出部２０３は、「ノイズなし」の検出結果が右目用映像５０１および左目用映像５０３でどちらにもある程度存在する場合には誤検出として検出結果を無効とし、着目画素５０７の検出結果を「ノイズなし」と補正してもよい。このようにブロック境界５０５、５０６が予め分からない場合についても、周辺の複数の画素の検出結果を考慮することで、ブロックノイズ４０６の検出精度の向上を図ることができる。

一方、リンギングノイズ４１２についても同様の補正が可能である。図５は、本発明の実施の形態におけるリンギングノイズ４１２の検出結果の例を示す図である。図５には、右目用映像６０１と左目用映像６０３とをブロック境界６０５，６０６および視差量６０９とともに示している。なお、この例でも、視差量６０９は５画素としている。図５に示すように、例えば図５では右目用映像６０１と左目用映像６０３の間の視差量６０９は５画素であるので、右目用映像６０１中の着目画素６１１に対応する左目用映像６０３中の対応画素６１３は右側に５画素の位置にある。左目用映像６０３ではブロック内の縦線（図の黒丸部分）のエッジに起因するリンギングノイズ４１２がその左側の複数の画素６１５（図の斜線の入った丸）に発生している。しかし、右目用映像６０１では視差の関係から左目用映像６０３のリンギングノイズ４１２に対応する複数の画素６０７には、視差により縦線が異なるブロックにあるためリンギングノイズ４１２が発生していないものとする。

このリンギングノイズ４１２の検出結果についても、視差情報により例えば次のような補正をすることができる。着目画素６１１と対応画素６１３とのどちらの画素の検出結果も「ノイズなし」の場合、そのままどちらの検出結果も有効とし「ノイズなし」とする。また着目画素６１１と対応画素６１３とのどちらか一方の検出結果が「ノイズあり」でもう一方が「ノイズなし」である場合、そのままどちらの検出結果も有効とすることもできる。また、予めブロック境界６０５、６０６が分かっている場合には、リンギングノイズ４１２の発生している画素とそれを発生させる原因となる付近の大振幅エッジの画素とが異なるブロックにあるか（＝「ノイズなし」）、同一ブロックにあるか（＝「ノイズあり」）を判定し、どちらか一方でも検出結果が合わなければどちらの検出結果も無効とし「ノイズなし」とすることもできる。また着目画素６１１と対応画素６１３とのどちらの画素の検出結果も「ノイズあり」の場合、そのままどちらの検出結果も有効とすることもできる。また、予めブロック境界６０５、６０６が分かっている場合には、ノイズ画素とそれを発生させる原因となる付近の大振幅エッジの画素とが異なるブロックにあるか（＝「ノイズなし」）、同一ブロックにあるか（＝「ノイズあり」）を判定し、どちらか一方でも検出結果が合わなければどちらの検出結果も無効にし「ノイズなし」とすることもできる。

またブロックノイズ検出と同様に周辺の検出結果の分布状態から最終的な検出結果とすることも可能である。リンギングノイズ４１２は着目画素６１１や対応画素６１３を含めその周辺画素においても発生することが多いため、周辺のノイズと判断される画素数によって最終的な検出結果を補正することもできる。

このように右目用映像６０１と左目用映像６０３で視差量６０９だけずれた位置関係にある着目画素６１１と対応画素６１３との２つの画素、あるいはこれら２つの画素を含む周辺の複数の画素６０７、６１５に対する符号化ノイズの検出結果を用いて検出結果を補正することにより、一方のみの映像信号から検出するよりもリンギングノイズ４１２の検出精度を高くすることができる。

このようにして、符号化ノイズ検出部２０３において検出された符号化ノイズ検出信号２１２に基づいて、符号化ノイズ除去部２０４はブロックノイズ４０６やリンギングノイズ４１２に対してノイズ除去処理を行い、右目用映像信号２０５Ｒおよび左目用映像信号２０５Ｌを出力する。本実施の形態における符号化ノイズ除去部２０４は、符号化ノイズ検出信号２１２に基づいて、ノイズ部分のみに対してフィルタ処理を適用することにより、ノイズ部分のみのノイズを低減することができる。すなわち、符号化ノイズ検出信号２１２が入力された右目用映像信号２０５Ｒおよび左目用映像信号２０５Ｌのノイズ部分を的確に示しているため、ノイズ低減用のフィルタ処理により絵柄がぼけたりすることを低減できる。

さらに、上記した方法以外に符号化ノイズ除去部２０４は、視差検出部２０２からの視差検出信号２１０を用いて右目用映像５０１、６０１と左目用映像５０３、６０３におけるノイズ発生画素のデータを、その視差量５０９，６０９だけずれたノイズの発生していないもう一方の映像の対応する画素データと置き換えることにより、ノイズを低減することも可能である。このようにできる理由は、対になった右目用映像５０１、６０１と左目用映像５０３、６０３とでは同一の絵柄パターンを持つことが多く、また視差がある場合には同一パターンであっても符号化処理ブロックが異なり、これによりブロックノイズ４０６やリンギングノイズ４１２の発生部分が異なるからである。

次に、右目用映像５０１、６０１と左目用映像５０３、６０３との画素データの置換えによるノイズ除去処理について具体的に説明する。まず右目用映像５０１、６０１と左目用映像５０３、６０３とのどちらか一方の映像信号中の着目画素５０７、６１１と視差検出部２０２で検出された視差量５０９、６０９だけずれた位置にあるこの着目画素５０７、６１１に対応するもう一方の映像信号中の対応画素５１１、６１３について、符号化ノイズ検出部２０３における検出結果を確認する。どちらの画素に対しても「ノイズなし」の結果の場合、ノイズがないためノイズ除去処理は行われない。次に、どちらも「ノイズあり」という結果の場合、右目用映像５０１、６０１と左目用映像５０３、６０３とのどちらの映像信号にもノイズがあるため、右目用映像５０１、６０１と左目用映像５０３、６０３との画素データの置換えを行ってもノイズを除去することができない。したがって、この場合にはフィルタ処理によりノイズ低減を行う。次に右目用映像５０１、６０１と左目用映像５０３、６０３とのどちらか一方が「ノイズあり」でもう一方が「ノイズなし」という結果の場合、「ノイズあり」の画素に対応する視差量５０９、６０９だけずれたもう一方の映像中の該当する画素のデータをそのまま「ノイズあり」と判定された画素のデータとして置換する。

例えば図４の場合、右目用映像５０１ではブロック境界５０５の部分にブロックノイズ４０６が検出されているが（図中の斜線の入った丸）、視差量５０９だけずれた左目用映像５０３中の対応する部分にはブロックノイズ４０６がないため、この左目用映像５０３の画素データ（黒丸）が右目用映像５０１のブロックノイズ４０６を発生している画素データと置換される。このようなデータ置換えの方法によりノイズを低減することが可能となる。

このとき、置換え処理の後に空間ＬＰＦをかけることにより置換処理により発生する不要な帯域成分を除去することも可能である。また、視差量５０９だけずれた対応するデータ同士の置換えのみならず、その周囲にある複数の画素５１３のデータを使用して置換え処理を行うことも可能である。

ブロックノイズ４０６やリンギングノイズ４１２が発生する箇所の周辺画素間において、信号レベルの変化が少ない部分であることも多いため、着目画素以外に周辺データやその平均を取ったデータなどにより置換え処理を行うことも可能である。このようなノイズ低減処理を用いることによりフィルタ処理による絵柄がぼけるといった弊害を低減させることができる。

次に、本実施の形態における映像信号処理装置が行う映像信号処理の方法について、図６に示すフローチャートを用いて説明する。図６は、本発明の実施の形態における映像信号処理装置において映像信号処理の流れを示すフローチャートである。図６に示すように、映像信号処理装置における映像信号処理方法は、視差を有する右目用映像信号２０１Ｒと左目用映像信号２０１Ｌとにより立体画像を表示する立体画像表示装置において、視差検出ステップＳ１００と符号化ノイズ検出ステップＳ１０２と符号化ノイズ除去ステップＳ１０４とを備えている。

視差検出ステップＳ１００は、視差検出部２０２において、ＭＰＥＧ２符号化方式やＭＰＥＧ４−ＡＶＣ／Ｈ．２６４符号化方式などにより符号化された映像信号をデコードした右目用映像信号２０１Ｒと左目用映像信号２０１Ｌとから視差を検出し、視差検出信号２１０として出力する。視差の検出するために、例えば右目用映像信号２０１Ｒの着目画素５０７、６１１に対し、視差検出ステップＳ１００は、視差検出部２０２において、左目用映像信号２０１Ｌの同じ位置にある画素およびその周辺にある画素との差分をとる。そして、視差検出ステップＳ１００は、視差検出部２０２において、その差分の絶対値が最も小さい画素が相関のある画素、すなわち視差量５０９、６０９だけずれた画素であると判断する。そして、視差検出ステップＳ１００は、視差検出部２０２において着目画素５０７、６１１とその視差量５０９、６０９だけずれた画素との方向と距離とを視差検出信号２１０として出力する。

符号化ノイズ検出ステップＳ１０２は、符号化ノイズ検出部２０３において、右目用映像信号２０１Ｒと左目用映像信号２０１Ｌとから符号化処理により発生する符号化ノイズを検出し、かつ視差検出信号２１０に基づき、検出された符号化ノイズを補正する。そして、補正した符号化ノイズから符号化ノイズ検出信号２１２を生成し、符号化ノイズ検出信号２１２を出力する。具体的には符号化ノイズ検出部２０３において、例えば、空間方向のＨＰＦによりエッジ（輪郭）の信号成分を抽出する。そして、上記したエッジとブロック境界４０４の周辺画素において空間方向のＨＰＦにより抽出された信号成分とを比較し、信号成分のレベルの差を閾値と比較する。そして閾値と比べて大きければ、信号成分に相関がないとする。ここで、閾値は、符号化ビットレートや画像内容に応じて設定されるべきである。したがって、上記したように信号成分に相関がない場合、画像は不連続であって、ブロックノイズ４０６が発生していると判定する。

さらに、検出された符号化ノイズを補正するために、符号化ノイズ検出部２０３において、右目用映像信号２０１Ｒと左目用映像信号２０１Ｌの一方における着目画素に対し、これに対応する他方の映像信号における画素位置を視差検出部２０２から出力される視差検出信号２１０から求める。そして、符号化ノイズ検出部２０３は、この画素位置における対応画素を参照して、着目画素を補正する。

符号化ノイズ除去ステップＳ１０４は、符号化ノイズ除去部２０４において、符号化ノイズ検出信号２１２を用いて、右目用映像信号と左目用映像信号とからフィルタ処理により符号化ノイズを低減、および視差検出信号２１０を基づき、右目用映像信号２０１Ｒと左目用映像信号２０１Ｌとにおけるノイズ発生画素のデータを、視差だけずれたノイズの発生していないもう一方の映像の対応する画素データと置換処理をすることにより符号化ノイズを低減、の少なくとも一方を行う。 このようにして、符号化ノイズ除去部２０４において、符号化ノイズ検出信号２１２に基づいて、ノイズ部分のみに対してフィルタ処理を適用することによりノイズを除去することができる。すなわち、符号化ノイズ検出信号２１２が入力された右目用映像信号２０５Ｒおよび左目用映像信号２０５Ｌのノイズ部分を的確に示しているため、ノイズ低減用のフィルタ処理により絵柄がぼけたりすることを低減できる。

また、画素データを置換処理することにより符号化ノイズを低減できる理由は、対になった右目用映像と左目用映像とでは同一の絵柄パターンを持つことが多いためである。さらに視差がある場合には同一パターンであっても符号化処理ブロックが異なるため、ブロックノイズ４０６やリンギングノイズ４１２の発生部分が異なるからである。したがって、ノイズ低減用のフィルタ処理を用いないので、ノイズ低減用のフィルタ処理により絵柄がぼけたりしない。また、フィルタ処理によりノイズ低減効果をより高めることができる。

本発明は、３Ｄ立体表示を行う際の右目用左目用の映像に対して両者の視差を利用してＭＰＥＧ２やＨ．２６４の符号化処理などにより発生する符号化ノイズを低減することを可能にする映像信号処理に関する。

２０１ 映像信号入力端子
２０１Ｌ 左目用映像信号
２０１Ｒ 右目用映像信号
２０２ 視差検出部
２０３ 符号化ノイズ検出部
２０４ 符号化ノイズ除去部
２０５ 映像信号出力端子
２０５Ｌ 左目用映像信号
２０５Ｒ 右目用映像信号
２１０ 視差検出信号
２１２ 符号化ノイズ検出信号
３０１ 右目用映像
３０３ 左目用映像
３０５ 表示映像
４０１ 右目用映像
４０３ ブロックノイズ発生領域
４０４ ブロック境界
４０６ ブロックノイズ
４０７ 左目用映像
４０９ リンギングノイズ発生領域
４１０ ブロック境界
４１２ リンギングノイズ
５０１ 右目用映像
５０３ 左目用映像
５０５ ブロック境界
５０６ ブロック境界
５０７ 着目画素
５０８ 複数の画素
５０９ 視差量
５１１ 対応画素
５１３ 複数の画素
６０１ 右目用映像
６０３ 左目用映像
６０５ ブロック境界
６０６ ブロック境界
６０７ 複数の画素
６０９ 視差量
６１１ 着目画素
６１３ 対応画素
６１５ 複数の画素

Claims (12)

1. 視差を有する右目用映像信号と左目用映像信号とにより立体画像を表示する立体画像表示装置において、
   前記右目用映像信号と前記左目用映像信号とから符号化処理により発生する符号化ノイズを検出し、
   かつ前記視差に基づき、補正した符号化ノイズ検出信号を出力する符号化ノイズ検出部と、
   前記符号化ノイズ検出信号を用いて、前記右目用映像信号と前記左目用映像信号とからフィルタ処理により前記符号化ノイズを低減、
   および前記視差に基づき、前記右目用映像信号と前記左目用映像信号とにおけるノイズ発生画素のデータを、前記視差だけずれたノイズの発生していないもう一方の映像の対応する画素データと置換処理をすることにより前記符号化ノイズを低減、
   の少なくとも一方を行う符号化ノイズ除去部と、
   を備えた映像信号処理装置。
2. 前記符号化ノイズ検出部は、ブロック境界を挟む複数の画素間において絵柄のエッジと平坦度と信号レベルとの少なくとも１つが不連続になっている場合、複数の不連続な画素をブロックノイズとして検出する請求項１に記載の映像信号処理装置。
3. 前記符号化ノイズ検出部は、ブロック境界を挟む複数の画素間で空間方向の高域通過フィルタにより、信号成分を抽出し、前記複数の画素間の前記信号成分に相関が無い場合、複数の相関のない画素をブロックノイズとして検出する請求項１に記載の映像信号処理装置。
4. 前記符号化ノイズ検出部は、前記右目用映像信号と前記左目用映像信号との高周波帯域成分のレベルが第一所定値以上に大きい画素を抽出し、前記画素の近傍の画素の有する特定の帯域成分のレベルが第二所定値以上であれば、前記画素をリンギングノイズと判定する請求項１に記載の映像信号処理装置。
5. 前記符号化ノイズ検出部は、前記高周波帯域成分が前記第一所定値以上に大きい前記画素と、特定の帯域成分が第二所定値以上である前記画素の近傍の前記画素とが、同一の符号化処理ブロックである場合にのみ、前記画素をリンギングノイズと判定する請求項１に記載の映像信号処理装置。
6. 視差を有する右目用映像信号と左目用映像信号とにより立体画像を表示する立体画像表示装置において、
   符号化ノイズ検出部において、前記右目用映像信号と前記左目用映像信号とから符号化処理により発生する符号化ノイズを検出し、
   かつ前記視差に基づき、補正した符号化ノイズ検出信号を出力する符号化ノイズ検出ステップと、
   符号化ノイズ除去部において、前記符号化ノイズ検出信号を用いて、前記右目用映像信号と前記左目用映像信号とからフィルタ処理により前記符号化ノイズを低減、
   および前記視差に基づき、前記右目用映像信号と前記左目用映像信号とにおけるノイズ発生画素のデータを、前記視差だけずれたノイズの発生していないもう一方の映像の対応する画素データと置換処理をすることにより前記符号化ノイズを低減、
   の少なくとも一方を行う符号化ノイズ除去ステップと、
   を備えた映像信号処理方法。
7. 前記符号化ノイズ検出ステップは、ブロック境界を挟む複数の画素間において絵柄のエッジと平坦度信号レベルとの少なくとも１つが不連続になっている場合、複数の不連続な画素をブロックノイズとして検出する請求項６に記載の映像信号処理方法。
8. 前記符号化ノイズ検出ステップは、ブロック境界を挟む複数の画素間で空間方向の高域通過フィルタにより、信号成分を抽出し、前記複数の画素間の前記信号成分に相関が無い場合、複数の相関のない画素をブロックノイズとして検出する請求項６に記載の映像信号処理方法。
9. 前記符号化ノイズ検出ステップは、前記右目用映像信号と前記左目用映像信号との高周波帯域成分のレベルが第一所定値以上に大きい画素を抽出し、前記画素の近傍の画素の有する特定の帯域成分のレベルが第二所定値以上であれば、前記画素をリンギングノイズと判定する請求項６に記載の映像信号処理方法。
10. 前記符号化ノイズ検出ステップは、前記高周波帯域成分が前記第一所定値以上に大きい前記画素と、特定の帯域成分が第二所定値以上である前記画素の近傍の前記画素とが、同一の符号化処理ブロックである場合にのみ、前記画素をリンギングノイズと判定する請求項６に記載の映像信号処理方法。
11. さらに、符号化された映像信号を復号化した前記右目用映像信号と前記左目用映像信号とから前記視差を検出し、検出した前記視差を視差検出信号として出力する視差検出部を備え、
    前記符号化ノイズ検出部は、前記右目用映像信号と前記左目用映像信号とから符号化処理により発生する符号化ノイズを検出し、前記視差検出信号に基づき、補正した符号化ノイズ検出信号を出力し、
    符号化ノイズ除去部は、前記符号化ノイズ検出信号を用いて、前記右目用映像信号と前記左目用映像信号とからフィルタ処理により前記符号化ノイズを低減、
    および前記視差検出信号に基づき、前記右目用映像信号と前記左目用映像信号とにおけるノイズ発生画素のデータを、前記視差だけずれたノイズの発生していないもう一方の映像の対応する画素データと置換処理をすることにより前記符号化ノイズを低減、
    の少なくとも一方を行う請求項１に記載の映像信号処理装置。
12. さらに、符号化された映像信号を復号化した前記右目用映像信号と前記左目用映像信号とから前記視差を検出し、視差検出信号として出力する視差検出ステップを備え、
    前記符号化ノイズ検出ステップは、符号化ノイズ検出部において、前記右目用映像信号と前記左目用映像信号とから符号化処理により発生する符号化ノイズを検出し、かつ前記視差検出信号に基づき、補正した符号化ノイズ検出信号を出力し、
    符号化ノイズ除去ステップは、符号化ノイズ除去部において、前記符号化ノイズ検出信号を用いて、前記右目用映像信号と前記左目用映像信号とからフィルタ処理により前記符号化ノイズを低減、
    および前記視差検出信号に基づき、前記右目用映像信号と前記左目用映像信号とにおけるノイズ発生画素のデータを、前記視差だけずれたノイズの発生していないもう一方の映像の対応する画素データと置換処理をすることにより前記符号化ノイズを低減、の少なくとも一方を行う請求項６に記載の映像信号処理方法。

Images