JP4614823B2 - ビデオ信号前処理方法，ビデオ信号前処理装置およびビデオ信号前処理プログラム - Google Patents

Description

本発明は高能率ビデオ符号化において，特に低ビットレート符号化における映像品質の改善を目的として，符号化に先立ちビデオ信号に処理を施すビデオ信号前処理方法に関する。

ビデオ信号は，表示においてはＲ（赤），Ｇ（緑），Ｂ（青）の３原色により表現されているが，通常の高能率符号化においては，ＲＧＢを線形変換したＹ（輝度），Ｕ（青−黄色差），Ｖ（赤−緑色差）の３信号により表現されるのが普通である。

符号化効率の改善を目的とした従来のビデオ前処理方式として，特にＵ，Ｖ信号の空間的な起伏はＹ信号に比べ知覚されにくいことに着目し，
（ｉ）Ｕ，Ｖそれぞれ水平方向に１／２に間引いた所謂４：２：２信号（ＲＧＢ比容量１／２），
（ii）Ｕ，Ｖそれぞれ水平垂直各方向に１／２に間引いた所謂４：２：０信号（ＲＧＢ比容量１／３），
(iii) Ｕ，Ｖそれぞれ水平方向に１／４に間引いた所謂４：１：１信号（ＲＧＢ比容量１／３），
のように積極的に情報量を削減することが広くなされている。

また，以下の特許・非特許文献には，ビデオ信号の前処理に関する技術として，それぞれ次のような性質のものが記載されている。

下記の特許文献１には，前処理は空間的な低域通過フィルタ（ＬＰＦ）に限定し，輝度変化やエッジ有無に応じてＬＰＦ強度を適応的に変化させる技術が示されている。

下記の特許文献２には，前処理は空間的なＬＰＦおよび信号レベルの補正・画像サイズの変更・ノイズの低減などにより行うことが示されている。

下記の特許文献３には，前処理として空間的なＬＰＦあるいは雑音除去を行うことが示されている。

下記の特許文献４には，「時空間フィルタ」を，シーンチェンジ適応させた空間ＬＰＦの意味で使い，ＬＰＦ強度を適応変化させる技術が示されている。

下記の非特許文献１には，ビデオ信号に含まれている雑音成分を低減するものが示されている。

下記の非特許文献２には，符号量削減を目的とした時間的前処理を行うものが示されている。

下記の非特許文献３には，エッジを残しつつ，画像中の芝目などの高周波部分を平坦化するものが示されている。

これらに記載された技術はいずれも，前処理の度合いを適応的に変化させたり雑音を除去するものであり，ビデオ信号の空間帯域の高域，あるいは時空間の雑音帯域あるいは高域といった部分に着目したビデオ情報の削減を狙った技術である。

これらのような前処理をビデオ信号に施すことにより，信号の持つ帯域の一部が低減され，後段の符号化の結果，符号量（ビットレート）が減少するという好ましい効果が得られる。

しかしながら，従来，輝度と色差信号の時空間帯域の一部（低・中周波数領域等）に着目し，効果的に情報量を低減するビデオ信号前処理方法はなかった。
特開２００５−０２６７４７公報 特開２００３−２５０１５６公報 特開２００２−０１６９１０公報 特開２００１−２５１６２９公報 松村，長谷山，北島："効果的な雑音除去のための適応的な画像のモデル化によるカルマンフィルタ"，電子情報通信学会論文誌，Vol.J86-D2，No.2，pp.212-222，Feb.2003 辻，阪谷，八島，小林："非等方拡散に基づく低ビットレート符号化用プレフィルタの検討"，画像符号化シンポジウム PCSJ2001，P-5.19，Nov.2001 木全，八島，小林："低ビットレート映像符号化におけるエッジ保存形プレフィルタ制御方法の一検討"，画像符号化シンポジウム PCSJ2000，P-P1.14 ，Nov.2000

本発明は，上に述べたような問題に鑑みて，人間の知覚特性に応じ，知覚されにくい輝度・色差信号の前処理を行い，符号化前の段階で情報量を削減しておくことにより，知覚的な印象はできるだけ保存しつつ，後段の符号化の結果の符号量を削減することを目的とする。

輝度と色差の信号に，デジタルフィルタによる信号処理を施し，これを動画として表示した際，人間の知覚にこの処理がどのように影響を及ぼすかを定量評価し，できるだけ知覚に影響の及ぼされない信号処理を選択する。

〔人間の視覚・知覚特性〕
本発明者が行った心理物理実験の結果，人間が目および脳で知覚する動きには，以下のような性質があることがわかった。

・知覚特性１：輝度一定で，かつ色差空間において青−黄方向のみが，時間的あるいは空間的に変化するような，ビデオ信号の変動（起伏や動き）は知覚しにくい。

・知覚特性２：輝度・色差に空間的あるいは時間的なＢＥＦ(Band Elimination Filter) を施す場合と，施さない場合とで，ほぼ同様の見えが知覚される。

・知覚特性３：輝度信号のみのビデオ信号に時間的ＨＰＦ(High Pass Filter)を施すと動きの知覚が困難になるが，輝度色差信号の輝度信号のみに時間的ＨＰＦを施しても，動きは知覚できる（ただし，直流成分のみは残す）。

ここでＢＥＦはバンド抑圧フィルタ，ＨＰＦは高域通過フィルタである。

〔本発明〕
この発明に係るビデオ信号前処理方法は，上記知覚特性１に鑑み，ＹＵＶ変換されたビデオ信号のＵ成分（色差空間の青−黄方向に対応）に，時間的な一次元ＬＰＦを施すものである。

主観実験より，青−黄信号の時間解像度は２Ｈｚ程度まで落としても極端な劣化を感じさせないことがわかっている。

ＬＰＦの次数・フィルタ係数は任意であるが，例えば［1/4, 1/2, 1/4 ］の３タップフィルタが挙げられる。このフィルタを，隣接するフレームの同一空間位置において施していく。

すなわち，空間位置を（ｘ，ｙ），時刻（フレーム番号）ｔのＵ信号をＵ(x,y,t) とするとき，新しいＵ信号Ｕ'(x,y,t)を，
Ｕ'(x,y,t)＝(1/4) Ｕ(x,y,t-1) ＋(1/2) Ｕ(x,y,t) ＋(1/4) Ｕ(x,y,t+1)
のように求める。

時間的に端を越える部分については，例えば端の画像信号が繰り返されているものとして扱う。

〔第１の関連発明〕
この関連発明に係るビデオ信号前処理方法は，上記知覚特性１に鑑み，ＹＵＶ変換されたビデオ信号のＵ成分に，空間的な二次元ＬＰＦを施すものである。

主観実験より，青−黄信号の空間解像度は３cycles/image程度まで落としても極端な劣化を感じさせないことがわかっている。

ＬＰＦの次数・フィルタ係数は任意であるが，例えば［1/4, 1/2, 1/4 ］の３タップフィルタを縦横に施した
1/16 1/8 1/16
1/8 1/4 1/8
1/16 1/8 1/16
が挙げられる。このフィルタを，同一フレームの隣接空間位置において施していく。

すなわち，新しいＵ信号Ｕ'(x,y,t)を，
Ｕ'(x,y,t)＝(1/16)Ｕ(x-1,y-1,t) ＋(1/8) Ｕ(x,y-1,t) ＋(1/16)Ｕ(x+1,y-1,t) ＋
(1/8) Ｕ(x-1,y,t) ＋(1/4) Ｕ(x,y,t) ＋(1/8) Ｕ(x+1,y,t) ＋
(1/16)Ｕ(x-1,y+1,t) ＋(1/8) Ｕ(x,y+1,t) ＋(1/16)Ｕ(x+1,y+1,t)
のように求める。

画面端を越える部分については，例えば端の画像信号が繰り返されているものとして扱う。

〔第２の関連発明〕
この関連発明に係るビデオ信号前処理方法は，上記知覚特性２に鑑み，ＹＵＶ変換されたビデオ信号のＹ，Ｕ，Ｖ各成分に，時間的な一次元ＢＥＦを施すものである。

主観実験より，時間ＢＥＦの低域遮断周波数を２Ｈｚ程度，高域遮断周波数を６Ｈｚ程度としても極端な劣化を感じさせないことがわかっている。通常の画像信号においては電力のおよそ半分はこの帯域にあるので，大きな情報削減が期待できる。

ＢＥＦの次数・フィルタ係数は任意であるが，例えば［0.3, 0, 0.4, 0, 0.3 ］の５タップフィルタが挙げられる。このフィルタを，隣接するフレームの同一空間位置において施していく。

すなわち，空間位置（ｘ，ｙ），時刻ｔのＹ信号をＹ(x,y,t) とするとき，新しいＹ信号Ｙ'(x,y,t)を，
Ｙ'(x,y,t)＝0.3 Ｙ(x,y,t-2) ＋0.4 Ｙ(x,y,t) ＋0.3 Ｙ(x,y,t+2)
のように求める。

時間的に端を越える部分については，例えば端の画像信号が繰り返されているものとして扱う。

〔第３の関連発明〕
この関連発明に係るビデオ信号前処理方法は，上記知覚特性２に鑑み，ＹＵＶ変換されたビデオ信号のＹ，Ｕ，Ｖ各成分に，空間的な二次元ＢＥＦを施すものである。

主観実験より，空間ＢＥＦの低域遮断周波数を３cycles/image程度，高域遮断周波数を８cycles/image程度としても極端な劣化を感じさせないことがわかっている。

ＢＥＦの次数・フィルタ係数は任意であるが，例えば［0.3, 0, 0.4, 0, 0.3 ］の５タップフィルタを縦横に施した
O.09 0 0.12 0 0.09
0 0 0 0 0
O.12 0 0.16 0 0.12
0 0 0 0 0
O.09 0 0.12 0 0.09
が挙げられる。このフィルタを，同一フレームの隣接空間位置において施していく。

すなわち，新しいＹ信号Ｙ'(x,y,t)を，
Ｙ'(x,y,t)＝0.09Ｙ(x-2,y-2,t) ＋0.12Ｙ(x,y-2,t) ＋0.09Ｙ(x+2,y-2,t) ＋
0.12Ｙ(x-2,y,t) ＋0.16Ｙ(x,y,t) ＋0.12Ｙ(x+2,y,t) ＋
0.09Ｙ(x-2,y+2,t) ＋0.12Ｙ(x,y+2,t) ＋0.09Ｙ(x+2,y+2,t)
のように求める。

画面端を越える部分については，例えば端の画像信号が繰り返されているものとして扱う。

〔第４の関連発明〕
この関連発明に係るビデオ信号前処理方法は，上記知覚特性３に鑑み，ＹＵＶ変換されたビデオ信号のＹ成分に，時間的ＨＰＦ（但し直流は保存）を施すものである。

主観実験より，Ｙ成分に対する時間的ＨＰＦの遮断周波数を５Ｈｚ程度としても極端な劣化を感じさせないことがわかっている。

ＨＰＦのフィルタ係数は任意であるが，例えば［−1/2, 1, −1/2 ］の３タップフィルタを施した。

このフィルタを，隣接フレームの同一空間位置において施していく。

すなわち，新しいＹ信号Ｙ'(x,y,t)を，
Ｙ'(x,y,t)＝−(1/2) Ｙ(x,y,t-1) ＋Ｙ(x,y,t) −(1/2) Ｙ(x,y,t+1)
のように求める。

次いで，各画素位置（ｘ，ｙ）において直流分を以下のように加える。

Ｙ'(x,y,t)＝Ｙ'(x,y,t)＋Σ_t Ｙ(x,y,t) ／Ｎ
第二項が原信号の直流に相当する。Ｎはフレーム枚数である。

〔第５の関連発明〕
この関連発明に係るビデオ信号前処理方法は，本発明と上記第１〜第４の関連発明に係るビデオ信号前処理方法のいずれか複数を組み合わせて輝度色差分離型ビデオ信号の一部帯域を減衰させる。どのビデオ信号前処理方法を組み合わせて適用するかについては，あらかじめ固定的に定めておいてもよく，また，その都度ユーザに選択させる方法を用いてもよい。

以上のようなフィルタのデジタル演算は，コンピュータと画像処理用プログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

以上説明したように，本発明は色差選択的ＬＰＦという，従来の空間的・時間的ＬＰＦに基づく方式が着目していた高周波の帯域とは異なる帯域に着目し，帯域を削減するものであるが，通常の映像信号の電力は時間空間いずれも低域に偏っていることを勘案すると，本発明により削減される電力は従来の方式と同等かそれ以上の程度であることが期待できる。

ビデオ信号に本発明のような前処理を施すことで，従来方式では削減できず残存せざるをえなかった帯域の削減が達成でき，結果として後段の符号化効率を従来方式に増して改善できるという，格別の効果が生まれる。

図１は，本発明に係るビデオ信号前処理装置の構成例を示す図である。

本ビデオ信号前処理装置は，輝度色差分離型ビデオ信号の入力手段１と，プログラムを実行するＣＰＵ２と，メモリ（ＲＡＭ）３と，フィルタ処理を行うデジタルフィルタ部４と，前処理により帯域を減衰させた結果の輝度色差分離型ビデオ信号を出力する出力手段５と，フィルタ情報を記憶するフィルタ情報記憶部６と，信号を処理するためのプログラムを格納したプログラム記憶部７と，それらを接続するバス線８とから構成される。

フィルタ情報記憶部６には，事前に設定されたデジタルフィルタの種類ごとのフィルタ係数（パラメータ）が記憶されている。プログラム記憶部７には，適用するデジタルフィルタの種別に応じた信号前処理を実行するための各信号処理プログラム１１ａ，１１ｂ，１１ｃ，…と，それらの起動制御を行うための信号処理制御プログラム１０とが格納される。信号処理プログラムが単独の場合には，信号処理制御プログラム１０を用いない構成にすることもできる。

ＣＰＵ２は，プログラム記憶部７からロードした信号処理制御プログラム１０を実行し，あらかじめ選択された信号処理プログラムまたはユーザが指定した信号処理プログラムをプログラム記憶部７から読み出して実行する。ＣＰＵ２は，信号処理プログラムを実行することにより，フィルタ情報記憶部６からフィルタ係数をロードし，ビデオ信号の一部に対する処理を繰り返し，全入力信号に対する処理等を行う。

ＲＡＭ３は，出力用のデータを一旦格納するものであり，デジタルフィルタ部４は，フィルタ係数およびＣＰＵ２からの指示に従って，メモリ上の信号系列に対し１次元フィルタ処理あるいは２次元フィルタ処理を実行し，必要なビデオデータを生成する。

本ビデオ信号前処理装置内の記憶装置には，フィルタ情報記憶部６とプログラム記憶部７とが設けられているが，これらに記憶されるフィルタ情報および信号処理プログラムは，別々に変更可能である。例えば信号処理プログラム１１ａは，上述した本発明を実現するためのプログラムであり，信号処理プログラム１１ｂは，第１の関連発明を実現するためのプログラムである。他の信号処理プログラム１１ｃ等も同様に入力信号に特定のデジタルフィルタ処理を適用し，一部帯域を減衰するためのプログラムである。

図２は，信号処理プログラム１１ａの処理フローチャートである。以下，図２に従って，本発明を実現するビデオ信号前処理の動作を説明する。

処理開始の指示が出されると，ステップＳ１１では，信号処理プログラム１１ａに従って，入力手段１を利用して輝度色差分離型ビデオ信号を入力する。次に，ステップＳ１２では，フィルタ情報記憶部６から時間帯域を減衰させるためのＬＰＦフィルタ係数をロードする。

ステップＳ１３では，未処理の空間位置（ｘ，ｙ）を一つ決定する。続いて，ステップＳ１４では，決定した空間位置（ｘ，ｙ）における全時間の輝度信号系列と赤−緑色差信号系列（ともに１次元の列）とを抽出し，メモリを利用して一時蓄積する。ステップＳ１５では，同様に空間位置（ｘ，ｙ）における全時間の青−黄色差信号系列を抽出する。

次に，ステップＳ１６では，ＬＰＦフィルタ係数およびデジタルフィルタ部４を利用して該信号系列にフィルタ処理（１次元処理である）を施す。ステップＳ１７では，フィルタ処理によって生成された処理済み信号系列を，メモリを利用して一時蓄積する。

その後，ステップＳ１８では，すべての空間位置（ｘ，ｙ）が処理されたかを判断し，未処理の空間位置（ｘ，ｙ）があれば，ステップＳ１３へ戻る。すべての空間位置（ｘ，ｙ）の処理が終われば，ステップＳ１９へ進み，メモリに蓄積された情報を，入力と同じ輝度色差分離型ビデオ信号の形態として出力手段５を用いて出力し終了する。

図３は，信号処理プログラム１１ｂの処理フローチャートである。以下，図３に従って，第１の関連発明を実現するビデオ信号前処理の動作を説明する。

処理開始の指示が出されると，ステップＳ２１では，信号処理プログラム１１ｂに従って，入力手段１を利用して輝度色差分離型ビデオ信号を入力する。次に，ステップＳ２２では，フィルタ情報記憶部６から空間帯域を減衰させるためのＬＰＦフィルタ係数をロードする。

ステップＳ２３では，未処理の時刻ｔ（フレーム番号）を一つ決定する。続いて，ステップＳ２４では，決定した時刻ｔにおける全フレームの輝度信号と赤−緑色差フレーム（ともに２次元）とを抽出し，メモリを利用して一時蓄積する。ステップＳ２５では，同様に時刻ｔにおける青−黄色差信号フレームを抽出する。

次に，ステップＳ２６では，ＬＰＦフィルタ係数およびデジタルフィルタ部４を利用して該フレームにフィルタ処理（２次元処理である）を施す。ステップＳ２７では，生成された処理済みフレームを，メモリを利用して一時蓄積する。

その後，ステップＳ２８では，すべての時刻ｔが処理されたかを判断し，未処理の時刻ｔのフレームがあれば，ステップＳ２３へ戻る。すべての時刻ｔの処理が終われば，ステップＳ２９へ進み，メモリに蓄積された情報を，入力と同じ輝度色差分離型ビデオ信号の形態として出力手段５を用いて出力し終了する。

以上，本発明および第１の関連発明に係るビデオ信号前処理の実施形態を説明したが，第２，第３，第４の関連発明に係るビデオ信号前処理についても，同様にあらかじめ定められたフィルタ係数と，該当する信号処理プログラムを用いてＣＰＵ２によって実行することができる。

第５の関連発明に係るビデオ信号前処理を実現する場合，第５の関連発明に係るビデオ信号前処理をＣＰＵ２に実行させるための専用の信号処理プログラムを用いて実現してもよいし，最初に信号処理制御プログラム１０を実行することによって信号処理プログラム１１ａ，１１ｂ，１１ｃ，…の中からいくつかのプログラムを規定値またはユーザの指定値に基づき選択し，選択した信号処理プログラムを用いてＣＰＵ２によって逐次的に実行することによって実現することもできる。

図４に，本発明および関連発明の実施例で用いるフィルタの概念図を示す。図４（Ａ）は，低域通過フィルタ（ＬＰＦ）の例であり，周波数の高域をカットし低域を残す。図４（Ｂ）は，高域通過フィルタ（ＨＰＦ）の例であり，周波数の低域をカットし高域を残す。また，図４（Ｃ）は，バンド抑圧フィルタ（ＢＥＦ）の例であり，本実施例ではＬＰＦとＨＰＦの和となる。

本発明および関連発明の効果を確認するために行った実験の結果を以下に示す。時間・空間フィルタが運動の鮮明化に及ぼす影響を次のように測定した。

・被験者は，画像の見かけのコントラストを増加させ，フィルタ後の画像と同等に見えるコントラストを同定する。

・コントラスト操作は，高空間周波数成分の振幅を相対的に増減させることにより行う。図５に，コントラストの増減方法の例を示す。

〔実験１〕
時間フィルタを施した映像における運動の鮮明化現象を図６に示す。実験は，映像数＝１２，被験者数＝１４で行った。この実験から，以下のような知見が得られた。図６に示されるように，時間低周波数成分（時間的ＬＰＦ）において鮮明化が生じることがわかった。また，時間高周波数成分のみを持つ映像（時間的ＨＰＦ）はぼけるが，両者の相互作用により，時間的ＢＥＦ映像では強い鮮明化が生じることが確認できた。なお，この実験における時間的ＬＰＦの遮断周波数は２Ｈｚであり，時間的ＨＰＦの遮断周波数は６Ｈｚである（時間的ＢＥＦの低域遮断周波数・高域遮断周波数は，それぞれ２Ｈｚ・６Ｈｚ）。

〔実験２〕
空間フィルタを施した映像における運動の鮮明化現象を図７に示す。実験は，映像数＝１２，被験者数＝１４で行った。この実験から，以下のような知見が得られた。図７に示されるように，低空間周波数成分（空間的ＬＰＦ）が鮮明化を引き起こす。また，高空間周波数成分のみを持つ映像（空間的ＨＰＦ）はぼけるが，低空間周波数成分を足し合わせた空間的ＢＥＦ映像においては，両者の相互作用により，鮮明化の量が増すことが確認できた。なお，この実験における空間的ＬＰＦの遮断周波数は３cycles/imageであり，空間的ＨＰＦの遮断周波数は８cycles/imageである（空間的ＢＥＦの低域遮断周波数・高域遮断周波数は，それぞれ３cycles/image・８cycles/image）。

〔実験３〕
視覚刺激を調べるために以下のような映像を用意した。
・映像Ａ：輝度信号に時間的ＨＰＦ（遮断周波数＝５Ｈｚ，ただし直流成分を残す）のフ ィルタをかけた映像
・映像Ｂ：色差のみの映像（フィルタ処理なし）
・映像Ａ＆Ｂ：映像Ａと映像Ｂの合成映像
被験者に，これらの映像Ａ，映像Ｂ，合成映像Ａ＆Ｂを，「順送り」あるいは「逆送り」で短時間（０．５秒〜４．０秒）提示し，その順／逆のいずれかを当てさせるという実験を，映像数＝１２，被験者数＝５で行った。

これらの実験結果を，図８および図９に示す。図８は，映像Ａ，映像Ｂ，合成映像Ａ＆Ｂのそれぞれの正答率の関係を示している。

図９は合成映像Ａ＆Ｂの正答率と，映像Ａ，映像Ｂそれぞれからの推定正答率の比較を示している。図９において，映像Ａ，映像Ｂそれぞれからの確率加重の計算は，次の参考文献に基づいて行った。
［参考文献］S.M.Wuerger et al.: "The integration of auditory and visual motion signals at threshold", Perception & Psychophysics, Vol.65, No.8, pp.1188-1196, 2003．
これらの実験結果から，次の知見が得られた。
・時間的ＨＰＦを輝度成分に施した映像Ａの運動方向の判断は，色成分の映像Ｂを付け足すと向上する（図８参照）。
・映像Ａと映像Ｂの個々の成分の正答率の確率加重よりも，合成映像Ａ＆Ｂの正答率が上回った（図９参照）。

この実験結果は，第４の関連発明による前処理のように，輝度信号に時間的ＨＰＦを施しても，色差信号の存在が動きの知覚を助けることを示している。

以上説明したように，従来技術では，画像符号化の前処理として，空間帯域／時間帯域の高域を落とすことしか考えられていなかったのに対し，本発明では，空間帯域／時間帯域／色空間帯域の一部帯域を落とす前処理を行っても人間の認識にはほとんど影響がないという，人間の視覚・知覚特性の実験結果に基づき，画像符号化前に，これらの一部帯域を減衰させるフィルタを用いて輝度色差分離型ビデオ信号の前処理を実行する。本発明は，特定の一部帯域の減衰により，従来技術の前処理ではなしえなっかった画像符号量の削減が可能になるとの顕著な効果を奏する。

入力したビデオ信号に含まれる色差信号のうち，青−黄成分に対して時間的ＬＰＦを施す場合，遮断周波数がＦ（Ｈｚ）のフィルタを用いるが，Ｆは人間の視覚・知覚特性の主観実験によれば，映像の劣化度と符号化における情報量削減としての前処理の効果との兼ね合いから，２Ｈｚ前後が好適であることがわかった。２Ｈｚ前後より遮断周波数が低い場合，色成分がぼけすぎてしまい，輝度と合わせたときに全体として映像の劣化が目立つようになる。一方，遮断周波数がこれより高い場合，情報量削減としての前処理の効果は小さくなる。なお，少なくとも２±０．５Ｈｚの範囲であれば２Ｈｚ前後ということができ，この範囲であれば従来の前処理よりも良好な結果が得られることが明らかである。

また，入力したビデオ信号に含まれる色差信号のうち，青−黄成分に対して空間的ＬＰＦを施す場合，遮断周波数がＣ（cycles/image）のフィルタを用いるが，Ｃは人間の視覚・知覚特性の主観実験によれば，３cycles/image前後が好適であることがわかった。３cycles/image前後より遮断周波数が低い場合，色成分がぼけすぎてしまい，輝度と合わせたときに全体として映像の劣化が目立つようになる。一方，遮断周波数がこれより高い場合，情報量削減としての前処理の効果は小さくなる。なお，少なくとも３±０．９cycles/imageの範囲であれば３cycles/image前後ということができ，この範囲であれば従来の前処理よりも良好な結果が得られることが明らかである。

また，入力したビデオ信号に含まれる輝度・色差各信号に，時間的ＢＥＦを施す場合，低域遮断周波数がＦ１（Ｈｚ），高域遮断周波数がＦ２（Ｈｚ）のフィルタを用いるが，人間の視覚・知覚特性の主観実験によれば，Ｆ１は２Ｈｚ前後（２±０．５Ｈｚ），Ｆ２は６Ｈｚ前後（６±０．５Ｈｚ）が好適であることがわかった。低域遮断周波数Ｆ１が２Ｈｚ前後より低い場合，色や輝度成分がぼけすぎてしまい，全体として映像の劣化が目立つようになる。一方，低域遮断周波数Ｆ１がこれより高い場合，情報量削減としての前処理の効果は小さくなる。また，高域遮断周波数Ｆ２が６Ｈｚ前後より低い場合，情報量削減としての前処理の効果は小さくなる。一方，高域遮断周波数Ｆ２がこれより高い場合，情報の削り過ぎにより，全体として映像の劣化が目立つようになる。

また，入力したビデオ信号に含まれる輝度・色差各信号に，空間的ＢＥＦを施す場合，低域遮断周波数がＣ１（cycles/image），高域遮断周波数がＣ２（cycles/image）のフィルタを用いるが，人間の視覚・知覚特性の主観実験によれば，Ｃ１は３cycles/image（３±０．９cycles/image），Ｃ２は８cycles/image前後（８±０．９cycles/image）が好適であることがわかった。低域遮断周波数Ｃ１が３cycles/image前後より低い場合，色や輝度成分がぼけすぎてしまい，全体として映像の劣化が目立つようになる。一方，低域遮断周波数Ｃ１がこれより高い場合，情報量削減としての前処理の効果は小さくなる。また，高域遮断周波数Ｃ２が８cycles/image前後より低い場合，情報量削減としての前処理の効果は小さくなる。一方，高域遮断周波数Ｃ２がこれより高い場合，情報の削り過ぎにより，全体として映像の劣化が目立つようになる。

また，入力したビデオ信号に含まれる輝度信号に，時間的ＨＰＦを施し，該信号に時間的直流成分を重畳する前処理を行う場合，遮断周波数がＦ３（ＨＺ）のフィルタを用いる。人間の視覚・知覚特性の主観実験によれば，求めるクォリティや映像の種類にもよるが，Ｆ３は４Ｈｚから６Ｈｚ，好ましくは５Ｈｚ前後（５±０．５Ｈｚ）が好適であることがわかった。

これらの前処理のいくつかを組み合わせて実施することも可能である。なお，いくつかを組み合わせる場合でも，低・中周波数領域を落としすぎると，滑らかな運動印象が喪失することになるので，上記の主観実験をもとに決定された遮断周波数を採用するのが望ましい。

本発明に係るビデオ信号前処理装置の構成例を示す図である。 第１の信号処理プログラムの処理フローチャートである。 第２の信号処理プログラムの処理フローチャートである。 本発明の実施例で用いるフィルタの概念図である。 コントラストの増減方法の例を示す図である。 時間フィルタを施した映像における運動の鮮明化現象を示す図である。 空間フィルタを施した映像における運動の鮮明化現象を示す図である。 映像Ａ，映像Ｂ，合成映像Ａ＆Ｂのそれぞれの正答率の関係を示す図である。 合成映像Ａ＆Ｂの正答率と，映像Ａ，映像Ｂそれぞれからの推定正答率の比較を示す図である。

符号の説明

１ 入力手段
２ ＣＰＵ
３ メモリ（ＲＡＭ）
４ デジタルフィルタ部
５ 出力手段
６ フィルタ情報記憶部
７ プログラム記憶部
８ バス線
１０ 信号処理制御プログラム
１１ａ，１１ｂ，１１ｃ，… 信号処理プログラム

Claims (3)

1. 輝度信号と青−黄成分の色差信号と赤−緑成分の色差信号からなる輝度色差分離型ビデ
   オ信号を入力とし，後段での符号化を前提とした前処理を該入力信号に施し，入力と同形
   式の輝度色差分離型ビデオ信号を出力するビデオ信号前処理方法であって，
   前記輝度色差分離型ビデオ信号を入力するステップと，
   入力したビデオ信号のもつ時間帯域の一部帯域を減衰させる前処理ステップと，
   該前処理を施した信号と前処理を施さなかった信号とを統合し出力するステップとを有
   し，
   上記前処理ステップは，上記入力したビデオ信号に含まれる色差信号のうち，青−黄成
   分に対してのみ，遮断周波数が１．５ヘルツから２．５ヘルツの範囲内の時間的低域通過
   フィルタを施すステップである
   ことを特徴とするビデオ信号前処理方法
2. 輝度信号と青−黄成分の色差信号と赤−緑成分の色差信号からなる輝度色差分離型ビデ
   オ信号を入力とし，後段での符号化を前提とした前処理を該入力信号に施し，入力と同形
   式の輝度色差分離型ビデオ信号を出力するビデオ信号前処理装置であって，
   輝度色差分離型ビデオ信号を入力する入力手段と，
   入力したビデオ信号のもつ時間帯域の一部帯域を減衰させる前処理手段と，
   該前処理を施した信号と前処理を施さなかった信号とを統合し出力する出力手段とを備
   え，
   上記前処理手段は，上記入力したビデオ信号に含まれる色差信号のうち，青−黄成分に
   対してのみ，遮断周波数が１．５ヘルツから２．５ヘルツの範囲内の時間的低域通過フィ
   ルタを施す手段である
   ことを特徴とするビデオ信号前処理装置
3. 請求項１に記載のビデオ信号前処理方法をコンピュータに実行させるためのビデオ信号
   前処理プログラム
   

Images