JP4556773B2 - 映像信号処理方法 - Google Patents

Description

この発明は、圧縮符号化としてフレーム内符号化とフレーム間符号化とが選択的になされる符号化方法に対して適用される映像信号処理方法に関する。

動画像の符号化として、現フレームの前および／または後のフレームのローカル復号信号と、現フレームとの差分を符号化する動き補償フレーム間予測符号化が知られている。例えばMPEG 2(Moving Picture Experts Group Phase 2)、MPEG-4 AVC(またはH.264)符号
化は、この種の符号化方法である。

例えばMPEG 2においては、ピクチャタイプとして、Ｉピクチャ(Intra-coded picture：イントラ符号化画像) 、Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）、Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）が知られている。

Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。

Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。

Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。

従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Forward) フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。

例えば下記の特許文献１には、符号化モードを決定することが記載されている。この特許文献１では、符号化モード決定器において、外部からのピクチャタイプがＩピクチャの場合は、符号化モードをフレーム内符号化モードに決定し、ピクチャタイプがＰピクチャの場合には、符号化モードをフレーム内符号化モードと順方向予測モードの何れかに決定し、ピクチャタイプがＢピクチャの場合には、符号化モードをフレーム内フレームモード、順方向予測モード、逆方向予測モードおよび両方向予測モードの中の何れかに決定することが記載されている。

特開２０００−１０６６７５号公報

ＰピクチャおよびＢピクチャは、符号化・復号のために他のフレームの情報を必要とする。誤りの伝搬を防止すると共に、ランダムアクセス機能を実現するために、外部からの符号化モード決定器に対して供給されるピクチャタイプとしてフレーム内の情報のみを使用するＩピクチャが周期的に挿入されている。以下の記載では、フレーム内符号化をイントラ符号化と称し、フレーム内符号化がなされるピクチャタイプを「イントラピクチャ」と称し、フレーム間符号化をインター符号化と称し、フレーム間符号化がなされるピクチャタイプを「インターピクチャ」と称する。

映像信号のストリーム中にイントラピクチャを配置する方法として、図１に示すような複数の方法が提案されている。下記特許文献２には、シーンチェンジを考慮してイントラピクチャを挿入することが記載されている。

特開平８−９８１７９号公報

図１Ａに示す方法は、イントラピクチャを常に固定周期Ｔで挿入する方法である。この方法では、シーンチェンジが考慮されない。イントラピクチャが０番目フレーム、１番目フレームＴ、２番目フレーム２Ｔ、３番目フレーム３Ｔ、・・・に設定される。

図１Ｂに示す方法は、シーンチェンジを考慮した方法であって、周期Ｔ毎のフレーム０，Ｔ，２Ｔ，・・・と、シーンチェンジを検出したフレームＳｉ（ｉ＝０，１，２，・・・）とにイントラピクチャを挿入する。

図１Ｃは、イントラピクチャが固定周期Ｔで配置される。シーンチェンジＳｉ（ｉ＝０，１，２，・・・）が検出されると、周期Ｔを計測するカウンタがリセットされる。図１Ｃに示す例では、０，Ｔ，Ｓ０，Ｓ０＋Ｔ，Ｓ０＋２Ｔ，・・・，Ｓ１，Ｓ１＋Ｔ，・・・にそれぞれイントラピクチャが挿入される。

図１Ｄは、図１Ｂに示す方法のように、周期Ｔ毎のフレーム０，Ｔ，２Ｔ，・・・と、シーンチェンジを検出したフレームＳｉ（ｉ＝０，１，２，・・・）とにイントラピクチャの挿入位置を設定する。但し、このように設定したイントラピクチャ挿入位置の中で、シーンチェンジの位置に近いイントラピクチャの位置がキャンセルされる。

図１Ｄの例において、ｎＴおよび（ｍ−１）Ｔの位置は、キャンセルされ、その近くのシーンチェンジ検出フレームＳ０およびＳ１がイントラピクチャの挿入位置に設定される。すなわち、キャンセルするか否かの判定の所定のしきい値をＴｈとすると、｜Ｓ０−ｎＴ｜＜Ｔｈの関係にあるために、ｎＴの位置がキャンセルされ、｜Ｓ１−（ｍ−１）Ｔ｜＜Ｔｈの関係にあるために、（ｍ−１）Ｔの位置がキャンセルされる。

図１Ｅは、図１Ｃに示す方法のように、シーンチェンジが検出されると、周期Ｔをカウントするカウンタがリセットされ、カウントが再度開始される。このように設定されたイントラピクチャ挿入位置の中で、しきい値Ｔｈより間隔が短い場合には、シーンチェンジの検出位置が優先される。図１Ｅにおいて、｜Ｓ０−（ｎ−１）Ｔ｜＜Ｔｈの関係にあるために、（ｎ−１）Ｔの位置がキャンセルされ、｜Ｓ１−（ｍ−１）Ｔ｜＜Ｔｈの関係にあるために、（ｍ−１）Ｔの位置がキャンセルされる。

上述したシーンチェンジを検出する方法は、例えばＳＡＤ(Sum Absolute Difference)
をしきい値と比較することによってシーンチェンジを検出する方法である。しかしながら、このような方法によって検出されたフレームがイントラ符号化に適しているとは限らないので、符号化の効率が悪い問題がある。例えばビットレートが固定の場合、符号化の効率が悪いことは、復号画像の画質が悪いことを意味する。

したがって、この発明の目的は、符号化効率を向上させ、画質を向上させることが可能な映像信号処理方法を提供することにある。

上述した課題を解決するために、この発明は、フレーム内符号化とフレーム間符号化の内で、フレーム内符号化すべきフレームを決定する映像信号処理方法において、
各フレームのビデオデータからスコアＩＡＳ（ｉ）を演算するステップと、
各フレームのフレーム間の相関値ＣＯＲ（ｉ）を演算するステップと、
スコアＩＡＳと相関値ＣＯＲとの両者で定まるしきい値を設定し、演算されたフレームの値（ＩＡＳ（ｉ），ＣＯＲ（ｉ））をしきい値と比較し、
フレームの値（ＩＡＳ（ｉ），ＣＯＲ（ｉ））がしきい値より小なるフレームは、フレーム内符号化すべきフレームと決定し、フレームの値（ＩＡＳ（ｉ），ＣＯＲ（ｉ））がしきい値より大なるフレームは、フレーム間符号化すべきフレームと決定するステップとからなり、
スコアＩＡＳは、ＩＡＳ₁ 、ＩＡＳ₂ およびＩＡＳ₃ から求められ、
ＩＡＳ₁ は、現フレームの動きの大きさまたは動きの強度を示す値であり、Ｉ
ＡＳ₂ は、前フレームと比較した現フレームの動きの大きさを示す値であり、ＩＡＳ₃ は、現フレームにおいて求められた動きベクトルの中で、残差がしきい値より大きい動きベクトルの割合を示す値である映像信号処理方法である。

この発明において、好ましくは、スコアＩＡＳが大きいフレームは、フレーム内符号化に適し、相関値ＣＯＲが大きいフレームは、フレーム間符号化に適していると判定するように、しきい値が設定される。

この発明によれば、二つのパラメータ（スコアＩＡＳおよび相関値ＣＯＲ）を使用してフレーム内符号化すべきフレームを判定するので、イントラ符号化に適しているか否かの判定を良好に行うことができる。

以下、この発明の一実施形態について図面を参照して説明する。一実施形態では、各フレームについてイントラピクチャ、すなわち、イントラ符号化に適した画像か否かを決定するものである。イントラピクチャは、リフレッシュの目的で周期的に挿入される場合と、イントラ符号化の方が効率が良いために挿入される場合とがある。

周期的にイントラピクチャを挿入する場合に、どの位置にイントラピクチャを配置すべきかは、スコアＩＡＳ(Intra Advantage Score)に基づいて決定される。また、スコアＩ
ＡＳおよび相関値ＣＯＲに基づいて決定された、周期的でない位置にイントラピクチャが配置される。後者のイントラピクチャの決定は、本実施形態の説明においては、シーンチェンジの検出に基づいてなされるものとして説明されている。

図２は、この発明の一実施形態による映像信号処理装置の構成を示す。参照符号１が処理装置の全体を示す。処理装置１に対してオーサリングツール等のアプリケーション１０からインターバル制限情報が供給される。インターバル制限情報は、イントラピクチャの挿入する間隔に関しての制限情報であり、例えば許容される最小および最大の間隔が指定される。オーサリングツールは、テキスト、音声、動画等のデータを編集して一つのソフトウェアを作成するためのツールである。アプリケーション１０としては、オーサリングツールに限らず、符号化方式を変換するためのトランスコードツール等の他のものを使用できる。

フレーム毎に区切られた入力ビデオデータＶＩがフレームバッファ２に蓄積される。フレームバッファ２は、ピクチャタイプを決定するのに必要な時間ビデオデータを遅延させるのに使用される。フレームバッファ２から読み出されたビデオデータがコーディング部３に供給され、符号化される。コーディング部３は、MPEG 2、MPEG-4 AVC(またはH.264)
等の符号化を行う。また、他の符号化でも良い。コーディング部３からの符号化ビデオデータＶＯが出力データとして取り出される。

フレームバッファ２に対して動き検出部（ＭＥと表す）４がアクセスし、評価値ＭＥＩを生成する。動き評価部４は、符号化対象の現フレームを複数の画素からなるブロックに分割し、現フレームの直前の参照フレームの参照ブロックとの間で、対応する位置の画素値の差分が演算され、差分の絶対値が１ブロックにわたって集計され、ブロック集計値が演算される。ブロックマッチングによる動きベクトルの検出方法と同様に、参照ブロックの位置は、所定の範囲内で動かされ、ブロック集計値の最小のものがそのブロックに関する残差とされ、残差を発生するブロックの位置が動きベクトルとして検出される。ブロック残差が１フレーム分合計されることによって評価値ＭＥＩが生成される。ブロック残差は、輝度データおよび二つの色差データのそれぞれについて計算され、マクロブロック単位で求められる。

評価値ＭＥＩおよび動きベクトルＭＶがシーンチェンジ検出部５およびピクチャタイプ決定部６に供給される。シーンチェンジ検出部５は、後述するように、評価値ＭＥＩおよび動きベクトルＭＶを使用して求められたスコアＩＡＳと、フレームバッファ２に蓄積されている画像情報から求められた相関値ＣＯＲからシーンチェンジを検出する。検出されたシーンチェンジ情報ＳＣＩがピクチャタイプ決定部６およびコーディング部３に供給される。なお、本明細書において、シーンチェンジは、見てシーンが変化する画像の意味よりも、イントラ符号化に適した画像を意味し、シーンチェンジ検出部５は、第２のまたは他のイントラ決定部としての機能を有する。但し、シーンチェンジの検出方法としては、フレームの状態遷移を見る方法等の種々の方法を使用できる。

第１のピクチャタイプ決定部６は、評価値ＭＥＩと動きベクトルＭＶとシーンチェンジ情報ＳＣＩに基づいてイントラピクチャを決定する。アプリケーション１０からのインターバル制限情報例えばインターバルの最小値および最大値がピクチャタイプ決定部６に供給され、インターバル制限を満たす範囲でイントラピクチャが決定される。イントラピクチャ情報ＮＩがインターピクチャを決定する第２のピクチャタイプ決定部７およびコーディング部３に供給される。

ピクチャタイプ決定部７は、イントラピクチャ情報ＮＩに基づいてインターピクチャタイプ、すなわち、他のフレームを参照して符号化するピクチャタイプ例えばMPEG 2におけるＰピクチャタイプまたはＢピクチャタイプを決定する。一例として、イントラピクチャ例えばＩピクチャの後の次に決定されるＩピクチャまでの間に、表示画像の順序で（ＢＢＰＢＢＰＢＢＰＢＢＰＢＢ）の１４ピクチャが続くように、インターピクチャが決定される。ピクチャタイプ決定部７からのインターピクチャ情報ＮＲがコーディング部３に供給される。

コーディング部３は、フレームバッファ２からのビデオデータを符号化する。シーンチェンジ情報ＳＣＩ、イントラピクチャ情報ＮＩおよびインターピクチャ情報ＮＲを使用してピクチャタイプが決定される。前述したように、イントラピクチャの場合では、マクロブロックの種類がイントラ符号化マクロブロックのみであるが、インターピクチャのＰピクチャおよびＢピクチャの場合では、複数のマクロブロックのタイプが存在するので、ピクチャタイプ決定部７は、インターピクチャに関してマクロブロックのタイプを決定する。

コーディング部３は、MPEG 2の例では、図３に示す構成を有している。図３において、参照符号３１がフレームバッファ２からのビデオデータが入力される端子を示す。入力ビデオデータがフレームメモリ３２に蓄積される。フレームメモリ３２に蓄積されたビデオデータを使用して動き検出部３３がブロックマッチングによって動きベクトルを検出する。動きベクトルが動き補償部４３に供給される。

フレームメモリ３２からのオリジナルピクチャの画素データと動き補償部４３からのローカル復号画像の画素データとが減算器３４にて減算され、画素の差分値が計算される。フレームメモリ３２の出力データが入力端子ａに供給され、減算器３４の出力データが入力端子ｂに供給されるスイッチ部ＳＷ１が設けられている。

スイッチ部ＳＷ１は、ピクチャタイプ決定部６および７の出力ＮＩおよびＮＲによって制御される。イントラピクチャの場合では、スイッチ部ＳＷ１が常に入力端子ａを選択する状態とされる。インターピクチャの場合では、マクロブロック単位でスイッチ部ＳＷ１が入力端子ａおよびｂの一方を選択する。

スイッチ部ＳＷ１で選択されたビデオデータまたは差分データがＤＣＴ(Discrete Cosine Transform：離散コサイン変換)部３５に供給される。ＤＣＴ部３５において発生した
ＤＣＴ係数データが量子化部３６に供給される。量子化部３６において量子化されたデータがジグザクスキャンでもって可変長符号化部３７に対して出力され、ハフマン符号化がなされる。可変長符号化部３７の出力が出力端子３８に取り出される。図示しないが、出力データは、バッファリング部に供給され、出力データのレートがほぼ一定となるように、量子化部３６の量子化ステップが制御される。

量子化部３６の出力データが逆量子化部３９を介して逆ＤＣＴ部４０に供給される。逆ＤＣＴ部４０の出力データが加算器４１に供給され、加算器４１の出力データがフレームメモリ４２に蓄積される。フレームメモリ４２の出力データが動き補償部４３に供給される。動き補償部４３の出力データが減算器３４に供給されると共に、スイッチ部ＳＷ２を介して加算器４１に供給される。

逆量子化部３９、逆ＤＣＴ部４０、加算器４１、フレームメモリ４２および動き補償部４３は、ローカル復号装置を構成し、動き補償部４３の出力にローカル復号データが得られる。スイッチ部ＳＷ２は、ピクチャタイプ決定部６からの出力ＮＩによって、イントラ符号化の場合には、オフとされ、インター符号化の場合にオンとされる。

なお、図３に示されるコーディング部３は、一例であって、図示以外の他の構成も可能である。また、MPEG 2の符号化のコーディング部に限らず、MPEG-4 AVC(またはH.264)符
号化を行うコーディング部に対してもこの発明を適用できる。

この発明の一実施形態におけるスコアＩＡＳについて説明する。ＩＡＳは、次式で示される３個の部分からなる値である。

ＩＡＳ＝ｆ（ＩＡＳ₁，ＩＡＳ₂，ＩＡＳ₃） （１）

関数ｆの一例は、下記に示す係数α，β，γを使用した重み付け加算である。例えばα＋β＋γ＝１の関係とされている。各係数は、アプリケーション等に応じて設定されている。ＩＡＳの値が大きいピクチャほど、イントラ符号化に適したピクチャと判断される。

ＩＡＳ＝α・ＩＡＳ₁＋β・ＩＡＳ₂＋γ・ＩＡＳ₃ （２）

ＩＡＳ₁は、現フレームの動きの大きさまたは動きの強度であり、例えば下記の式（３
）によって計算される。

ＩＡＳ₁＝max(min(１，ＳＡＤ_i ／ＳＭＡＤ_i），０） （３）

式（３）において、min（）は、（）内の値の小さい方を選択することを意味し、max（）は、（）内の値の大きい方を選択することを意味する。ＳＭＡＤでＳＡＤを割り算するのは、ＳＡＤの正規化のためである。動きの大きさとＳＡＤの間には、強い関係が存在する。

残差の絶対値和ＳＡＤ(Sum Absolute Difference)は、下記の式（４）で計算される値
である。ＳＡＤは、イントラ符号化が適しているか否かを示す画像の差分情報量を示す。

式（４）において、Ｒ_i,jは、それぞれ動き補償のみで復元された復元画像の画素であ
り、Ｑ_i,jは、オリジナル画像の画素(i,j) のレベルである。集計される範囲を規定する
ｉおよびｊは、フレーム内の水平方向の画素番号および垂直方向の画素番号に対応する値である。ＩＡＳ₁が大きいことは、動きが大きいフレームを意味するので、そのフレーム
は、インター符号化に不向きなことを意味している。

残差の平均絶対値和ＳＭＡＤ(Sum Mean Absolute Difference)は、下記の式（５）で計算される値である。集計される範囲を規定するｉおよびｊは、フレーム内の水平方向の画素数および垂直方向の画素数に対応する値である。ＳＭＡＤが大きい場合には、ＳＡＤも大きくなるので、ＳＡＤをＳＭＡＤによって正規化している。一実施形態では、ＳＡＤおよびＳＭＡＤが評価値ＭＥＩに含まれ、また、オリジナル画像の現フレームと直前のフレームとの差分が演算される。

式（５）において、μ_i,jは、下記の式（６）で表されるブロック内画素の平均値であ
る。

式（６）において、集計される範囲を規定するｘおよびｙは、画素(i,j) が含まれるブロックの水平方向の画素番号および垂直方向の画素番号に対応する値である。ブロックサイズは、（４×４）（８×８）等に設定される。

ＩＡＳ₂は、前フレームと比較した動きの大きさであり、例えば下記の式（７）によっ
て計算され、前フレームと比較して動きが大きい場合には、大きな値となる。このようにフレーム間で動きが大きく変化するフレームは、インター符号化に適していない、すなわち、イントラ符号化に適していることを意味する。

ＩＡＳ₂＝max(min(３，ＳＡＤ_i ／ＳＡＤ_i-1），０） （７）

式（７）において、min（）は、（）内の値の小さい方を選択することを意味し、max（）は、（）内の値の大きい方を選択することを意味する。動きの強さの比とＳＡＤの比との間には、強い関係が存在する。

ＩＡＳ₃は、動き検出のアンマッチングレシオであり、例えば下記の式（８）によって
計算される。

ＩＡＳ₃＝max(min(1,NumUnMatchingＭＶ₁／NumUnMatchingＭＶThreshold),0)
・・・（８）

式（８）において、NumUnMatchingＭＶ₁は、現フレームにおいて求められた動きベクトルの内で、残差がしきい値であるUnMatchingＭＶThresholdよりも大きい動きベクトルの
個数である。動きベクトルは、マクロブロック単位で求められる。ブロックマッチングで動きベクトルを求める場合、差分値の最小値が残差として検出される。残差をしきい値UnMatchingＭＶThresholdと比較して、しきい値より大きいマクロブロック数がumUnMatchingＭＶ₁である。NumUnMatchingＭＶThresholdおよびUnMatchingＭＶThresholdは、フレー
ムサイズと関係した所定の数である。ＩＡＳ₃が大きいことは、イントラ符号化が適して
いることを意味する。

イントラピクチャタイプを決定するピクチャタイプ決定部６の処理を図４のフローチャートを参照して説明する。最初のステップＳＴ１において、サーチウインドウサイズが計算される。 サーチウインドウサイズは、アプリケーション１０からのインターバル制限
の情報と、フレームバッファ２の容量に基づいて計算される。

ステップＳＴ２において、サーチウインドウサイズとデフォルトのイントラピクチャ位置とに基づいてサーチウインドウの境界が計算される。サーチウインドウによって、可能なイントラピクチャの範囲が設定される。サーチウインドウサイズは、一例として、（サーチウインドウサイズ＝デフォルトのイントラ間隔）で計算される。

ステップＳＴ３において、二つの変数が初期値に設定される。すなわち、処理の開始のフレームの番号を０とした場合に、変数iBestIASおよびiBestフレームがそれぞれ−１で
あると初期設定される。 ステップＳＴ４において、サーチウインドウ内の各フレームＦ
（ｉ）に関する処理が開始する。−１では、一列の数（＞０）中で最大値を探す場合、初期値を設定する（実は、−２，−３，・・・全部できる）。iBestフレームは、設定しな
くても良い。

ステップＳＴ５において、フレームＦ（ｉ）がシーンチェンジＳＣであるか否かが判定される。例えばシーンチェンジが発生したフレームがシーンチェンジＳＣとされる。シーンチェンジの場合には、ステップＳＴ６において、フレームＦ（ｉ）がイントラピクチャとして設定され、処理が終了する。

ステップＳＴ５において、フレームＦ（ｉ）がシーンチェンジＳＣでないと判定されると、ステップＳＴ７において、スコアＩＡＳ（ｉ）が計算される。ステップＳＴ８において、フレームＦ（ｉ）とデフォルトイントラピクチャ位置との距離ｄ（ｉ）が計算される。デフォルトイントラピクチャ位置が前に決定されたイントラピクチャ位置からデフォルトフレームインターバルＮ０フレーム後とされる。例えばＮ０＝１５である。この例では、ｉ＝１４であれば、ｄ(14)＝−１であり、ｉ＝１６であれば、ｄ(16)＝＋１である。ステップＳＴ９において、計算されたＩＡＳ（ｉ）と距離ｄ（ｉ）に応じて重み付けがなされた評価値W-IAS(i)が計算される。

ステップＳＴ１０において、W-IAS(i)およびiBestIASが比較される。iBestIASは、そのフレームの前のフレームまでの処理で求められた最大のＩＡＳの値である。W-IAS(i)がiBestIASより大きい場合には、ステップＳＴ１１において、iBestIASがW-IAS(i)とされ、iBestフレームがｉとされる。そして、ステップＳＴ１２において、そのフレームの処理が
終了する。若し、ステップＳＴ１０において、W-IAS(i)がiBestIAS以下と判定されると、ステップＳＴ１２に処理が移る。

サーチウインドウ内の各フレームに関して、ステップＳＴ４〜ＳＴ１２までの処理を行った結果、iBestフレームのフレームＦ（ｉ）がイントラピクチャとして設定される。

図５は、この発明の一実施形態によるイントラピクチャを決定する処理の一例を示す。横軸が時間を示し、横軸上に付加されている垂直線がフレームバッファ内のフレームを表す。サーチウインドウの範囲がデフォルトイントラフレーム位置に対して±４フレームとされている。各フレーム位置に対して付加されている数字は、ピクチャタイプ決定部６において計算された重み付けＩＡＳ（W-IAS(i)）の一例である。図５の例は、シーンチェンジが発生しない例である。なお、デフォルトイントラ位置に対して前後に等しい幅のサーチウインドウに限らず、前後が不均等の幅を有するサーチウインドウを設定することができる。

サーチウインドウ内の例えば最初のフレームからW-IAS(i)の値が計算される。サーチウインドウ内で、W-IAS(i)＝８０が最大であるので、このフレームが新たなイントラピクチャとして設定される。

重み付けＩＡＳ（W-IAS(i)）は、ＩＡＳ（ｉ）とｄ（ｉ）とから下記の式（９）によって計算される。

W-IAS(i)＝IAS(i)×(MAXD−|d(i)|) / MAXD （９）

式（１）のＩＡＳ（ｉ）に乗じられる右辺の項が重み付け係数である。ＭＡＸ Ｄは、サーチウインドウ内で全ての｜ｄ（ｉ）｜に対して、ＭＡＸ Ｄ＞Ｎ０＋ｄ（ｉ）（Ｎ０は、デフォルトのイントラピクチャ位置で例えばＮ０＝１５である）の関係にある所定の定数である。ＭＡＸ Ｄは、アプリケーション１０によって適切な値例えば１９に設定される。

式（１）から分かるように、デフォルトイントラピクチャ位置（ｄ（ｉ）＝０）で重み付け係数が最大の１となり、デフォルトイントラピクチャ位置から離れるにしたがって１より重み付け係数が小さくなる。

図６は、テスト用のビデオシーケンスに対して上述した方法を適用してイントラピクチャを決定した場合のイントラピクチャの分布の一例を示す。横軸がイントラピクチャの間隔、すなわち、設定された連続するイントラピクチャ位置の間隔を示す。図６の縦軸は、決定されたイントラピクチャの個数のカウント値を示している。図６から分かるように、イントラピクチャの間隔がデフォルト値Ｎ０例えば１５に集中したものとなる。

上述したこの発明の一実施形態による処理のいくつかの例について、図７を参照して説明する。図７Ａ〜図７Ｅにおいて、横軸が時間軸であり、黒いドットおよび四角のドットがピクチャタイプ決定部６が上述した処理によって決定したイントラピクチャのフレームを示す。すなわち、サーチウインドウ内にシーンチェンジが存在せず且つサーチウインドウに対応して重み付けＩＡＳが最大であるフレームか、またはシーンチェンジのフレームがイントラピクチャと決定される。

白いドットは、イントラピクチャ位置と一旦設定されたが、キャンセルされた位置を示す。すなわち、デフォルトイントラピクチャ位置であるが、重み付けＩＡＳがより小さいためにキャンセルされたか、または最大の重み付けＩＡＳを有するが、シーンチェンジによってキャンセルされたフレームを示す。このように、シーンチェンジがサーチウインドウ内に存在するか否かと無関係に、シーンチェンジが検出されたフレームがイントラピクチャと設定される。

図７Ａに示す第１の例では、イントラピクチャＦ１に対してＮ０フレーム（デフォルトイントラインターバル）後のデフォルトイントラピクチャ位置Ｆ２が設定され、サーチウインドウＷＮＤ１内でデフォルトイントラピクチャ位置Ｆ２における重み付けＩＡＳが最大であるために、デフォルトイントラピクチャ位置Ｆ２がイントラピクチャに設定される。次のＮ０フレーム後の位置（ここではフレームと同じ意味である）Ｆ３に関して設定されたサーチウインドウＷＮＤ２において、デフォルトイントラピクチャ位置Ｆ３以外で位置Ｆ４が最大の重み付けＩＡＳを有するので、位置Ｆ４がイントラピクチャとして設定される。

図７Ｂに示す第２の例では、第１の例と同様に、サーチウインドウＷＮＤ１において、デフォルト位置Ｆ２がイントラピクチャとして設定される。次のサーチウインドウＷＮＤ２において、最大の重み付けＩＡＳを有する位置Ｆ４がサーチウインドウＷＮＤ２内で検出されたシーンチェンジ位置Ｆ５によってキャンセルされる。

図７Ｃに示す第３の例では、サーチウインドウＷＮＤ１において、最大の重み付けＩＡＳを有する位置Ｆ２がサーチウインドウＷＮＤ１内で検出されたシーンチェンジ位置Ｆ６によってキャンセルされる。次のサーチウインドウＷＮＤ２１は、位置Ｆ６からＮ０フレーム後のデフォルトイントラピクチャ位置Ｆ７を基準にして設定される。サーチウインドウＷＮＤ２１内で位置Ｆ８が最大の重み付けＩＡＳを有するので、位置Ｆ８がイントラピクチャに設定される。

図７Ｄに示す第４の例では、サーチウインドウＷＮＤ１において、最大の重み付けＩＡＳを有する位置Ｆ９がイントラピクチャに設定される。位置Ｆ９からＮ０フレーム後のデフォルトイントラピクチャ位置がＦ１０である。位置Ｆ１０を中心とするサーチウインドウＷＮＤ２２において、最大の重み付けＩＡＳを有する位置Ｆ１１がサーチウインドウＷＮＤ２２内で検出されたシーンチェンジ位置Ｆ１２によってキャンセルされる。

図７Ｅに示す第５の例では、第４の例と同様に、サーチウインドウＷＮＤ１において、最大の重み付けＩＡＳを有する位置Ｆ９がイントラピクチャに設定される。位置Ｆ９からＮ０フレーム経過する前に、シーンチェンジが検出され、シーンチェンジ検出位置Ｆ１３がイントラピクチャに設定される。位置Ｆ１３からＮ０フレーム後のデフォルト位置Ｆ１４を中心として次のサーチウインドウＷＮＤ２３が設定される。サーチウインドウＷＮＤ２３において、最大の重み付けＩＡＳを有する位置Ｆ１５がイントラピクチャに設定される。

次に、上述したシーンチェンジ検出部５に適用できるイントラ決定部について説明する。図８は、シーンチェンジ検出部５の構成を示す。入力ビデオデータＶＩがフレームバッファ２に蓄積される。フレームバッファ２は、ピクチャタイプを決定するのに必要な時間ビデオデータを遅延させるのに使用される。フレームバッファ２から読み出されたビデオデータがコーディング部（図示しない）に供給され、符号化される。動き検出部４からＩＡＳ演算部５１に対して評価値ＭＥＩおよび動きベクトルＭＶが供給され、一実施形態について上述したようにＩＡＳが求められる。ＩＡＳがイントラ決定部５３に供給される。

フレームバッファ２に対して相関値（ＣＯＲと表記する）演算部５２が接続されている。ＣＯＲ演算部５２によって演算されたＣＯＲがイントラ決定部５３に供給される。スコアＩＡＳは、動き検出の結果に基づいて計算されたもので、動きに基づいた要素である。相関値ＣＯＲは、後述するように、数学に基づいて計算したもので、統計に基づいた要素である。イントラ決定部５３は、イントラ符号化が適しているフレームを決定する。このフレームがシーンチェンジとして扱われ、シーンチェンジ情報ＳＣＩがピクチャタイプ決定部６（図２参照）に供給される。

図９は、シーンチェンジ検出部５の処理の流れを示すフローチャートである。ステップＳＴ２１において、ｉ番目のフレームに関してＩＡＳ（ｉ）を計算するために必要な値ＩＡＳ₁（ｉ）、ＩＡＳ₂（ｉ）およびＩＡＳ₃（ｉ）が評価値ＭＥＩおよび動きベクトルＭ
Ｖに基づいて計算される。ステップＳＴ２２において、ＩＡＳ（ｉ）が計算される。３個の部分ＩＡＳ₁（ｉ）とＩＡＳ₂（ｉ）とＩＡＳ₃（ｉ）は、それぞれ式（３）、式（７）
および式（８）にしたがって、ステップＳＴ２１で計算され、式（２）にしたがってＩＡＳ（ｉ）がステップＳＴ２２で計算される。前述したように、ＩＡＳの値が大きいフレームは、イントラ符号化に適したフレームである。

ステップＳＴ２３において、現フレームと直前のフレーム間の相関の程度を示す相関値ＣＯＲ（ｉ）が取得される。ＣＯＲ演算部５２によってＣＯＲ（ｉ）が演算される。ステップＳＴ２４において、ＩＡＳ（ｉ）および相関値ＣＯＲ（ｉ）からイントラフラグＩＦ（ｉ）が計算される。

相関値ＣＯＲは、フレーム間相関が高いほど大きな値となる。すなわち、相関値ＣＯＲが大きいフレームは、インター符号化に適していると言える。数学的に相関値は、下記の式（１０）によって演算される。

相関値ＣＯＲは、下記の式（１１）によって演算される。

式（１０）および式（１１）において、covが共分散を意味し、σが標準偏差を意味し
、μが平均値を意味し、Ｅが期待値を意味する。期待値Ｅについて説明すると、Ｘが値ｘ₁，ｘ₂，・・・を有するランダムな変数で、それぞれが生じる確率をｐ₁，ｐ₂，・・・とすると、期待値は、下記の式（１２）によって計算される。

式（１１）において、Ｏ_i,m.n は、オリジナルピクチャのフレームｉの画素(m,n)のレ
ベルを表す。μ_iは、下記の式（１３）によって計算される平均値である。なお、１フレ
ーム前のフレーム(i-1)についても同様である。

式（１３）において、Σの範囲ｘ，ｙおよびｍ，ｎは、フレームｉ内の全画素である。また、Ｎは、フレーム内の画素数である。

ステップＳＴ２４におけるイントラフラグＩＦ（ｉ）の計算について図１０を参照して説明する。図１０は、横軸にＩＡＳ（例えば０＜＝ＩＡＳ（ｉ））をとり、縦軸に相関値ＣＯＲ（例えば０＜＝ＣＯＲ（ｉ）＜＝１）をとったグラフである。ＩＡＳ（ｉ）およびＣＯＲ（ｉ）が求められていると、図１０の２次元座標上で、そのフレームのイントラフラグＦ（ｉ）の点（ＩＡＳ（ｉ），ＣＯＲ（ｉ））が決定される。

図１０において、イントラ符号化とインター符号化を振り分けるために、しきい値としての線６１が描かれる。しきい値は、ＩＡＳおよびＣＯＲによって設定されている。線６１は、ＩＡＳおよびＣＯＲが共に小さい時に、所定のＩＡＳの位置から立ち上がる線６１ａと、所定の傾きの線６１ｂと、所定のＩＡＳの位置からＣＯＲ＝１まで立ち上がる線６１ｃとを連結したものとされている。図１０に示す境界を示す線６１は、一例であって、線６１ａを破線６１ｄで示すように、線６１ｂと連続した線としても良い。ＩＡＳおよびＣＯＲが共に小さい範囲は、誤差の影響を受けやすく、その範囲をインター符号化により処理して発生データ量を少なくすることが好ましいので、線６１ａが設定されている。

ステップＳＴ２５において、イントラフラグＩＦ（ｉ）が真かどうかが判定される。ここで、ＩＦ（ｉ）が真であることは、線６１より下側にイントラフラグＦ（ｉ）が位置することを意味する。そのようなフレームは、相関値ＣＯＲが低いか、またはＩＡＳの値が大きいものであり、ステップＳＴ２６において、イントラ符号化に適したフレーム、すなわち、シーンチェンジと判定される。

ステップＳＴ２５において、イントラフラグＩＦ（ｉ）が真でない、すなわち、線６１より上側にイントラフラグＦ（ｉ）が位置すると判定されると、そのフレームは、イントラ符号化に適していないものと判定され、処理が終了する。

この発明は、上述したこの発明の実施形態に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、図１０においては、しきい値を全体としては、１次関数（直線）でもって描いているが、２次関数（曲線）でしきい値を規定しても良い。また、この発明は、圧縮符号化としては、MPEG 2、MPEG-4 AVC(
またはH.264)符号化以外の符号化を使用しても良い。また、この発明において符号化処理は、ハードウェアによる処理に限らず、ソフトウェアによる処理によって実現するようにしても良い。

従来のイントラピクチャの周期的な配置方法の複数の例を示す略線図である。 この発明による映像信号処理装置の一実施形態の構成を示すブロック図である。 この発明を適用できるコーディング部の一例のブロック図である。 この発明の一実施形態の処理の流れを示すフローチャートである。 この発明の一実施形態のイントラピクチャの位置を決定する処理の説明に用いる略線図である。 この発明の一実施形態をテスト用のシーケンスに適用した場合のイントラピクチャの間隔の発生数の例を示すグラフである。 この発明の一実施形態の処理の複数の例を示す略線図である。 この発明の一実施形態におけるシーンチェンジ検出部に使用できるイントラ決定部の一例のブロック図である。 図８の構成の処理の流れを示すフローチャートである。 ＩＡＳおよびＣＯＲによってイントラ／インターを判定するためのグラフの一例を示す略線図である。

符号の説明

２・・・フレームバッファ
３・・・コーディング部
４・・・動き検出部
５・・・シーンチェンジ検出部
６・・・ピクチャタイプ（イントラ）決定部
７・・・ピクチャタイプ（インター）決定部
１０・・・アプリケーション
５１・・・ＩＡＳ演算部
５２・・・ＣＯＲ演算部
５３・・・イントラ決定部

Claims (3)

1. フレーム内符号化とフレーム間符号化の内で、フレーム内符号化すべきフレームを決定する映像信号処理方法において、
   各フレームのビデオデータからスコアＩＡＳ（ｉ）を演算するステップと、
   各フレームのフレーム間の相関値ＣＯＲ（ｉ）を演算するステップと、
   スコアＩＡＳと相関値ＣＯＲとの両者で定まるしきい値を設定し、上記演算されたフレームの値（ＩＡＳ（ｉ），ＣＯＲ（ｉ））を上記しきい値と比較し、
   上記フレームの値（ＩＡＳ（ｉ），ＣＯＲ（ｉ））が上記しきい値より小なるフレームは、フレーム内符号化すべきフレームと決定し、上記フレームの値（ＩＡＳ（ｉ），ＣＯＲ（ｉ））が上記しきい値より大なるフレームは、フレーム間符号化すべきフレームと決定するステップとからなり、
   上記スコアＩＡＳは、ＩＡＳ₁ 、ＩＡＳ₂ およびＩＡＳ₃ から求められ、
   上記ＩＡＳ₁ は、現フレームの動きの大きさまたは動きの強度を示す値であり、上記Ｉ
   ＡＳ₂ は、前フレームと比較した現フレームの動きの大きさを示す値であり、上記ＩＡＳ₃ は、現フレームにおいて求められた動きベクトルの中で、残差がしきい値より大きい動きベクトルの割合を示す値である映像信号処理方法。
2. 請求項１において、
   上記スコアＩＡＳが大きいフレームは、フレーム内符号化に適し、
   上記相関値ＣＯＲが大きいフレームは、フレーム間符号化に適していると判定するように、上記しきい値が設定される映像信号処理方法。
3. 請求項１において、
   決定されたフレーム内符号化すべきフレームの近傍に、ほぼ周期的に配されるフレーム内符号化位置が存在する場合には、上記フレーム内符号化位置をキャンセルする映像信号処理方法。

Images