JP5264814B2

JP5264814B2 - 動画像表示方式判定装置

Info

Publication number: JP5264814B2
Application number: JP2010061102A
Authority: JP
Inventors: 修杉本; 整内藤; 茂之酒澤
Original assignee: KDDI R&D Laboratories Inc
Current assignee: KDDI R&D Laboratories Inc
Priority date: 2010-03-17
Filing date: 2010-03-17
Publication date: 2013-08-14
Anticipated expiration: 2030-03-17
Also published as: JP2011199379A

Description

本発明は動画像表示方式判定装置に関し、特に人間の視覚特性に基づいて、動画像信号に対して表示品質の高い表示方式と低い表示方式のいずれで表示するかを決定するための動画像表示方式判定装置に関する。

下記の非特許文献１などに代表されるデジタル映像の非可逆符号化システムにおいては、人間の視覚特性を考慮し、視覚上検知できない、あるいは検知しにくい信号成分を抑制することにより、符号化情報量の削減が行われている。このとき、情報量の削減に伴い画質の劣化が伴うが、復号画像と原画像との誤差電力が最小となるように符号化パラメータ制御を行うことにより、主観画質が最大限維持される。

前述の視覚特性を考慮した信号成分の抑制は、空間的な処理と時間的な処理に大別される。空間的な処理としては直交変換成分の量子化などが、時間的な処理としては、フレーム単位のレート制御に基づく隣接フレーム間での圧縮率の非一様な設定などが挙げられる。

特に後者は、人間の視覚の感度が動きに対してそれほど強くないという特性を利用し、連続するフレームのすべてを一律の画質で符号化するのではなく、圧縮率の低いつまり品質の高いフレームの間に圧縮率の高いつまり品質の低いフレームを配置し、これを周期的に繰り返すことにより、視覚上検知されることなく、低品質フレームで省いた情報量を高品質フレーム側に還元し、見た目の画質を向上させている。

一例を挙げると、非特許文献２における符号化方式では、図６のように、25fpsや 30fps （ここに、fps: frames per second；一秒間に再生されるフレーム数）で再生される動画像の符号化の際、連続する３フレームのうち、２フレームを低品質フレームとし、残る1フレームをそれより高品質なフレームとすることで、３フレーム周期で出現する高品質フレームの品質が知覚されるようなフレーム単位の圧縮率制御（レート制御）が用いられている。

ここで、図６の低品質フレームは、高い圧縮率を適用しているとはいえ、前述のとおり非特許文献１および２のような高効率の符号化方式に基づき、原画像との差分は最小になるような符号化情報が与えられている。すなわち、低品質のフレーム表示とはいえ、一定の情報量を費やして、当該フレームを再生（復号）している。

一方、圧縮符号化の目的とは別に、上述の手法と同様に高品質、低品質フレームの繰返し、または周期的配置により常時高品質フレームを配置するのと視覚上等価な映像再生を実現する方式の検討が行われている。

非特許文献３では、LCD、PDPなどの平面ディスプレイ表示装置で用いられる60fps, 120fpsというフレームレートを前提とし、鋭フレーム（上述の高品質フレームに相当）と鈍フレーム（同じく低品質フレームに相当）の交互表示により、鋭フレームの連続表示と主観上等価な再生映像が得られるとの実験結果が報告されている。非特許文献３の筆者らはこれを鋭鈍再生と命名しているので、本願でもこれを借用して同様の名称を用いるものとする。この鋭鈍再生が前述の符号化レート制御と異なるのは、鈍フレームの生成は、符号化処理のような複雑なものではなく、原画像に対して低域通過または高域強調のような単純なフィルタ処理を施したものであるという点である。すなわち、鈍画像は原画像と差分が小さくなくても視覚上認識されない上、前後フレームからの内挿など符号化処理より簡易でかつ情報量を必要としない処理により生成できるという特徴を有する。このように人間の視覚特性をもとに符号化前処理として鋭鈍再生の適否を決定し、それを符号化装置に提供する手法は、符号化処理のさらなる効率化という観点で注目すべき技術である。

ITU-T Recommendation H.264, "Advanced video coding for generic audiovisual services" ITU-T Recommendation H.262, "Information technology - Generic coding of moving pictures and associated audio information: Video" 「鋭／鈍繰返し画像の解明とフレーム内挿倍速表示(TFI)などへの応用−視知覚信号処理工学の発展」映像情報メディア学会誌 63(4) (727) pp.549-552

上述のとおり、鋭鈍再生を用いると、60fpsや120fpsのような高フレームレート映像の符号化において、視覚上検知できない鈍フレームを挿入することによって、当該フレームにおける符号量の削減が期待される。しかし、非特許文献３の鋭鈍再生手法は当該フレームを鋭／鈍いずれかのフレームと一義的に決定し、鈍フレームでは画面内で一律のフィルタ処理を適用することを前提としている。このような画面内で一律の処理を行った場合、映像の動きの特性などによっては部分的に劣化が見えるなどの問題が発生することが知られている。

一方、こうした劣化を回避したい場合、その映像では鋭鈍再生が適用できないことになり、符号量削減の効果が得られない。よって、次の２点が鋭鈍再生の高効率符号化への応用に際して課題となっている。

(1)鋭鈍再生の適否を映像全体（シーンチェンジ直後から次のシーンチェンジまでの数秒〜数十秒程度の長さの映像区間）で判定しなければならない。

(2)鈍画像生成において画面内で一律の処理が前提とされている。

本発明は、前記の課題に鑑みてなされたものであり、その目的は、映像の鋭鈍再生の適否をその空間的局所領域単位で判定でき、かつ一律の鈍画像生成処理を前提としない動画像表示方式判定装置を提供することにある。また、その結果として圧縮符号化における効率を向上させることができる動画像表示方式判定装置を提供することにある。

前記した目的を達成するために、本発明は、映像信号に対して表示品質の高い表示方式と低い表示方式のいずれで表示するかを決定するための動画像表示方式判定装置において、入力映像信号のフレーム群を、符号化対象フレームの時間的位置に応じて、表示品質の高いフレームと表示品質の低いフレームの組み合わせが周期的に出現するように分類するフレームモード分類部と、符号化対象フレーム内の符号化ブロックおよび符号化対象フレームの前後フレームにおいて、その符号化ブロックと同位置にある画素ブロックを３次元映像信号として抽出する３次元映像信号抽出部と、該３次元映像信号および該３次元映像信号に対して鈍画像処理を適用した３次元映像信号に対して適用される、視覚特性を反映した３次元フィルタと、該３次元フィルタ処理により出力された２つの３次元信号の差分電力を測定する差分電力測定部と、該差分電力測定部で測定された差分電力が所与の閾値を超えるか否かを判定し、閾値を超える場合には通常の符号化処理を、超えない場合には鈍画像処理を適用すべきであるとの判定を行う閾値判定部とを具備し、人間の視覚特性に基づき符号化対象の各フレームの表示方式を空間的局所領域単位で決定するようにした点に特徴がある。

本発明によれば、符号化対象フレームの局所領域ごとに、通常の符号化処理と鈍画像処理のいずれが主観画質の観点から適切であるかを正確に判定することが可能となる。換言すれば、一律の鈍画像生成処理ではなく、鈍画像生成処理を映像の動きの特性などに応じて適応的に行えるようになる。

また、圧縮符号化装置における当該局所領域の符号化効率の最適化の補助となる情報（フラグなど）を提供することができるようになる。また、この判定により符号化効率の最適化も実現可能となり、結果として映像全体の主観画質の向上が可能となる。

本発明が適用されるシステム例を示すブロック図である。図１の前処理部の一実施形態を示すブロック図である。処理対象フレームと時間的に前後のフレームとから抽出される３次元の符号化ブロックの説明図である。３次元フィルタの周波数特性の概略を示す説明図である。本発明の一実施形態の機能を示すフローチャートである。非特許文献２における符号化方式の説明図である。

以下に、図面を参照して本発明を詳細に説明する。本発明は、鈍画像として割り当てられたフレームにおいて、符号化単位に一致する局所領域（マクロブロック）ごとに鈍画像処理が有効であるかを判定し、有効と判定された場合には、従来の鈍画像生成と同様の処理を適用し、無効（有効でない）と判定された場合には、通常の予測符号化処理を適用するようにしたものである。

以下に、本発明の実施形態を説明する。図１は、本発明が適用されるシステム例の概念図である。

前処理部１は、入力映像信号を鋭画像処理するか鈍画像処理するかを判定し、鈍画像処理判定の場合には、その旨を示す補助情報ａ（以下、フラグａと記す）を出力する。遅延部２は、前記前処理部１の処理に要する時間だけ、入力映像信号を遅延する。圧縮符号化装置３は、入力映像信号を圧縮符号化処理する。前記フラグａを伴う入力映像信号に対しては、鈍画像の圧縮符号化処理を行い、前記フラグａを伴わない入力映像信号に対しては、通常の圧縮符号化処理（鋭画像の処理）を行う。

本発明は前記前処理部１に係るものであり、その一実施形態を図２および図３を参照して説明する。図２において、符号化対象である入力映像はフレーム単位で入力されることを前提としている。また、入力映像信号は、適切な信号形式により管理されており、フレーム番号や画素位置については、システム内のいかなる段階においても適切に取得することができるものとする。

入力映像信号は、まずフレーム番号順、例えばＦ１，Ｆ２，・・・，Ｆ７の順にフレームメモリ１０に記憶される。これは、後段の処理で符号化対象のフレームの前後フレームの情報を参照することが必要となるためである。フレームメモリ１０の容量は、後段の３次元フィルタ１６，１７での参照フレーム数に依存するが、該参照フレーム数以上の情報が蓄積できるものとする。

フレーム遅延部１１は、前記３次元フィルタ１６，１７の処理で未来方向の処理を参照するため、フレームメモリ１０にこの処理に必要なだけの情報を蓄積させるに相当する時間の遅延を行う。例えば、符号化対象フレームがＦ４であるとすると、未来方向のフレームＦ５〜Ｆ７を蓄積させるに相当する時間の遅延を行う。

次に、鋭鈍フレームモード分類部１２において、符号化対象フレームＦ４を鋭画像または鈍画像のいずれかに分類する。鋭フレームに対する鈍フレームの挿入比率は任意でよいと前提するが、前記非特許文献３のとおり、鋭鈍再生は鋭フレーム、鈍フレームを1フレームごとの繰り返す、すなわち比率１：１とするのが好適であるが、本発明はこれに限定されない。鋭フレームと鈍フレームの分類は、入力鋭鈍のフレーム番号Ｆをもとに行われる。鋭鈍フレームモード分類部１２は、鈍画像に分類した場合には信号ｂ（又は、２値信号１）を出力し、鋭画像に分類した場合には何も出力しない（又は、２値信号０）ものとする。

前記鋭鈍フレームモード分類部１２で鈍フレームと分類された場合には、スイッチング部１３がオンにされて、次の処理が実行される。鋭鈍再生の適否は符号化ブロック単位で行われるため、以降の処理もブロック単位の処理となる。

まず、３次元映像信号抽出部１４はフレームメモリ１０から、図３に示すようなブロック３次元画像情報ｃを抽出する。映像の時空間的特徴を反映するため、対象フレームＦ４内の符号化ブロック内の信号だけでなく、その前後Ｎ_Ｔフレームにわたって、同じ位置の符号化ブロックを抽出する。いま、処理対象のブロックが処理対象フレームＦ４内のブロックＢ４であるとし、そのサイズをＮ_ｘ，Ｎ_ｙとすると、Ｎ_ｘ×Ｎ_ｙ×（２Ｎ_Ｔ＋１）のブロック３次元画像情報ｃが抽出される。

次に、前記ブロック３次元画像情報ｃに対して鈍画像処理部１５にて鈍画像処理を施す。非特許文献３にあるように、鈍画像処理とは特定の処理を意味するものではなく、前後フレームの信号値の平均化や高域強調フィルタの適用など任意の処理が適用可能であり、本発明においても、鈍画像処理の種類は特に問わないものとする。なお、当該３次元画像情報ｃの中には複数の鈍フレームが含まれるため、鈍画像処理はすべての鈍フレームに対して行われる。

次に、前記の鈍画像処理画像信号と鈍画像処理されていない原画像信号の双方に対して３次元視覚特性フィルタ１６，１７を適用する。該フィルタ１６，１７は、人間の視覚の通過特性が時間周波数ｆの低い領域（図４のｆ０）では空間周波数方向の通過域が広く、時間周波数が高くなるにつれて（図４のｆ０→ｆ１→ｆ２）、空間周波数の通過域が狭くなるという性質のため、図４に示すように錐体に近い形状を有するとの前提で設計される。具体的な周波数特性は、符号化対象となる動画像の解像度・表示系（モニタ、プロジェクタ）のサイズなどに依存するため、個別に設計するのが好適である。なお、図４の錐体は、該錐体の内側を通過域とすることを意味している。

次いで、差分電力測定部１８は２つの３次元フィルタ１６，１７の出力の差分電力を計算する。鈍画像に対する３次元フィルタ適用後の信号をｘ_Ｄ(f,n₀,n₁) (f=-N_T〜N_T, n₀=0〜N_x-1, n₁=0〜N_y-1_,), 鈍画像処理を行っていない原画像信号に対する３次元フィルタ適用後の信号をx_O(f,n₀,n₁)とすると、差分電力値Ｐは以下のとおり定義される。

最後に、上記の差分電力値Ｐをもとに、鈍画像処理の適否を判定する。上記差分電力値Ｐは、鈍画像処理を施した画像と施さない画像の視覚上の可視周波数帯域における差分信号の大きさを示すものである。よって、Ｐの値が大きい場合には、鈍画像による可視域の劣化が大きい、すなわち鈍画像処理の影響が目につきやすく、Ｐの値が小さい場合には鈍画像処理適用による見た目の変化が小さいと判断できる。よって、閾値判定部１９で所与の閾値Ｐ_ＴＨを用いて、鈍画像処理の適否を判定する。つまり、Ｐ≦Ｐ_ＴＨであれば、鈍画像処理を適用し、Ｐ＞Ｐ_ＴＨであれば、通常の符号化処理を適用する。閾値判定部１９からは、鈍画像処理を適用する場合には、その旨のフラグａを出力する。

以上の処理をフレーム内のすべての符号化ブロックに対し適用することにより、各ブロックにおける鈍画像処理の有無を判定し、判定結果の情報（補助情報ａ）を圧縮符号化装置３（図１参照）に出力する。

図５は、前記した処理を示すフローチャートである。ステップＳ１では、入力映像フレームを入力し、ステップＳ２では図２の鋭鈍フレームモード分類部１２にて鋭鈍フレームの分類を行う。ステップＳ３では、該分類されたモードが鈍フレームであるか否かの判断がなされ、鋭フレームである場合にはステップＳ１０に進んで次の入力映像フレームの処理に移る。

一方、鈍フレームの場合には、ステップＳ４に進んで、当該フレームおよびその前後Ｎ_Ｔフレームにわたる、同じ位置の符号化ブロック（前記ブロック３次元画像情報ｃ）が取得される。次いで、ステップＳ５に進んで、前記符号化ブロックを鈍画像処理した後に３次元視覚特性フィルタ処理した信号Ｓ１と、前記符号化ブロックを鈍画像処理せずに３次元視覚特性フィルタ処理した信号Ｓ２との差分電力Ｐを測定する。この測定は前記数１の式により行うことができる。次にステップＳ６に進んで、該差分電力Ｐが所与の閾値Ｐ_ＴＨ以下であるか否かの判断がなされ、この判断が肯定の場合にはステップＳ７に進んで鈍画像処理のフラグａを立てる。そして、ステップＳ８に進む。一方、前記ステップＳ６の判断が否定の時には、ステップＳ７をスキップしてステップＳ８に進む。

ステップＳ８では、全ての要素ブロックについて鋭鈍画像の判定をしたか否かの判断がなされ、この判断が否定の時にはステップＳ９に進んで次の処理対象のブロックを取得する。そして、該処理対象ブロックに対して、前記ステップＳ５〜Ｓ８の処理を繰り返す。その後、ステップＳ８の判断が肯定になると、ステップＳ１０に進んで次の入力映像フレームを入力する。ステップＳ１１では、シーケンスの全てのフレームについて鋭鈍の判定をしたか否かの判断がなされ、この判断が否定の場合にはステップＳ１２で次の入力映像フレームを入力し、ステップＳ２に戻って前記ステップＳ２〜Ｓ１１の処理を繰り返す。最後に、ステップＳ１１の判断が肯定になると、処理を終了する。すなわち、前記前処理部１の処理を終了する。

以上のように、本実施形態によれば、映像の鋭鈍再生の適否をその空間的局所領域単位で判定できるようになると共に、鈍画像生成処理を映像の動きの特性などに応じて適応的に行えるようになる。

１・・・前処理部、２・・・遅延部、３・・・圧縮符号化装置、１０・・・フレームメモリ、１１・・・フレーム遅延部、１２・・・鋭鈍フレームモード分類部、１４・・・３次元映像信号抽出部、１５・・・鈍画像処理部、１６，１７・・・３次元フィルタ、１８・・・差分電力測定部、１９・・・閾値判定部。

Claims

映像信号に対して表示品質の高い表示方式と低い表示方式のいずれで表示するかを決定するための動画像表示方式判定装置において、
入力映像信号のフレーム群を、符号化対象フレームの時間的位置に応じて、表示品質の高いフレームと表示品質の低いフレームの組み合わせが周期的に出現するように分類するフレームモード分類部と、
符号化対象フレーム内の符号化ブロックおよび符号化対象フレームの前後フレームにおいて、その符号化ブロックと同位置にある画素ブロックを３次元映像信号として抽出する３次元映像信号抽出部と、
該３次元映像信号および該３次元映像信号に対して鈍画像処理を適用した３次元映像信号に対して適用される、視覚特性を反映した３次元フィルタと、
該３次元フィルタ処理により出力された２つの３次元信号の差分電力を測定する差分電力測定部と、
該差分電力測定部で測定された差分電力が所与の閾値を超えるか否かを判定し、閾値を超える場合には通常の符号化処理を、超えない場合には鈍画像処理を適用すべきであるとの判定を行う閾値判定部とを具備し、
人間の視覚特性に基づき符号化対象の各フレームの表示方式を空間的局所領域単位で決定するようにしたことを特徴とする動画像表示方式判定装置。
請求項１に記載の動画像表示方式判定装置であって、
前記フレームモード分類部は、表示品質の高いフレームと表示品質の低いフレームが１フレームごとに周期的に出現するように分類することを特徴とする動画像表示方式判定装置。
請求項１または２に記載の動画像表示方式判定装置であって、
前記３次元フィルタは、時間周波数の低い領域では空間周波数方向の通過域が広く、時間周波数が高くなるにつれて空間周波数の通過域が低くなる周波数特性を有することを特徴とする動画像表示方式判定装置。
請求項１ないし３のいずれかに記載の動画像表示方式判定装置であって、
前記閾値判定部は、前記閾値を超えない場合には鈍画像処理を適用すべきである旨の補助情報を発生することを特徴とする動画像表示方式判定装置。
請求項４に記載の動画像表示方式判定装置であって、
前記補助情報はフラグであり、圧縮符号化装置に送られることを特徴とする動画像表示方式判定装置。