JP5308981B2

JP5308981B2 - 予測ベクトル補正装置及びプログラム

Info

Publication number: JP5308981B2
Application number: JP2009231918A
Authority: JP
Inventors: 康孝松尾; 善明鹿喰; 慎一境田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2009-10-05
Filing date: 2009-10-05
Publication date: 2013-10-09
Anticipated expiration: 2029-10-05
Also published as: JP2011082703A

Description

本発明は、動画像又は音声信号の予測ベクトルを高精度に補正する予測ベクトル補正装置及びプログラムに関する。

近年、撮像装置及び表示装置の高精細化が進んでおり、超解像（Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ）と称される動画像の高解像化技術が研究されている（例えば、特許文献１参照）。いわゆる８Ｋシステムと呼ばれるスーパーハイビジョン（ＳＨＶ）のような超高精細映像、又は４Ｋシステムと呼ばれるデジタルシネマのような高精細映像は、従来のハイビジョン（ＨＶ）映像の４倍ないし１６倍の高解像度を有するに至っている。

しかしながら、動画像を表示する表示装置の画面が高精細化されるほど、同じ画角で撮影した場合の動領域における１画素あたりの動きボケ量が大きくなる。

例えば、図６（ａ）に示すように、ハイビジョン（ＨＶ：Hi-Vision）画面は１９２０画素×１０８０ラインであり、図６（ｂ）に示すように、スーパーハイビジョン（ＳＨＶ：Super Hi-Vision）画面は、７６８０画素×４３２０ラインである。ハイビジョン画面用の動画像と同じＦＯＶ (ＦＯＶ：ＦｉｅｌｄＯｆＶｉｅｗ)で撮像した動画像をスーパーハイビジョン画面で見ると、水平・垂直解像度ともに４倍となるため、動きのある被写体の動き量は４倍となり、動領域における１画素あたりの動きボケ量も４倍となる。特に、画面全体が大きく変化するスポーツシーン等の高速動きシーンでは、視覚的なボケ感は顕著となる。

一方、動きベクトル検出処理は、動きベクトル検出を行うフレームをブロック領域等に分割し、動きを探索するフレーム上を整数画素精度又は小数画素精度で探索して動き量を求める。動きベクトル検出方法としては、ブロックマッチング法、勾配法、位相限定相関法などがある。動きベクトル検出は、用途に応じて必要とされる精度や確度が異なる。

特に、１つ以上の低解像度画像から高解像度画像を生成するような超解像処理や１画面あたりの画素数が多いＳＨＶ用の符号化処理を目的とする動きベクトル検出には、動きベクトル検出の高精度化が要望される。

動きベクトル検出の高精度化にあたって、例えば１６×１６画素のブロック単位で検出した動きベクトルについて探索範囲を規定する検査枠を設けて検査枠におけるベクトル評価値を算出し、動きベクトル検出の際に検査枠を順次移動させ、近接する位置のブロックのベクトル評価値を参照して現在指定するブロックの動きベクトルの検出を確定させる技術がある（例えば、特許文献２参照）。

特開２００９−１０５４９０号公報特開２００１−１４５１０９号公報

従来からの動画像における動き検出方法は、通常、ブロック単位で動き量を求める。小領域のブロック単位（例えば、画素単位）で動き量を求めた場合、通常、雑音やリンギング等により大きな誤差を生じさせるためである。一方で、１つ以上の低解像度画像から高解像度画像を生成するような超解像処理や１画面あたりの画素数が多いＳＨＶ用の符号化処理を目的とする動きベクトル検出には、小領域のブロック単位（例えば、画素単位）で動き量を求めることが望ましく、更に、動きベクトル検出の精度として小数画素精度が必要となる。

しかしながら、雑音やリンギング等により誤差を生じた小領域のブロック単位（例えば、画素単位）の動きベクトルを小数画素精度で算出しても、動きベクトル検出としての確度が低いために、誤った動きベクトル検出となり、画質劣化の原因となる。この場合に、算出した小領域のブロック単位（例えば、画素単位）の動きベクトルを周辺の動きベクトルで補正することが考えられるが、動きベクトル検出としての確度が改善するわけではない。

また、特許文献２の技術を、小領域のブロック単位（例えば、画素単位）の動きベクトル検出に適用したとしても、近接する位置のブロックのベクトル評価値に依存して確度が決定付けられることになり、動きベクトル検出としての確度が改善するわけではない。

上記の課題は、動画像の動きベクトルに限らず、音声信号の音声パターンベクトルなどの一連の信号系列の予測ベクトルについても同様である。

そこで、本発明の目的は、動画像又は音声信号の予測ベクトルを高精度に補正する予測ベクトル補正装置及びプログラムを提供することにある。

本発明は、ブロック単位で求めた予測ベクトルの検出結果を、該ブロック単位よりも小領域のサブブロック単位（例えば、画素単位）で予測ベクトルを再検出し、これらの結果を用いて予測ベクトル検出の確度を判定し、小領域のサブブロック単位（例えば、画素単位）の予測ベクトルを補正する。

即ち、本発明の予測ベクトル補正装置は、動画像又は音声信号をブロック単位で予測ベクトルを検出して補正する予測ベクトル補正装置であって、ブロック単位で予測ベクトルを算出するブロック単位予測ベクトル検出手段（実施例におけるブロック単位動きベクトル検出部）と、前記ブロックよりも小領域のサブブロック単位で予測ベクトルを算出するサブブロック単位予測ベクトル検出手段（実施例におけるサブブロック単位動きベクトル検出部）と、前記サブブロック単位で検出した予測ベクトルが、ブロック単位の予測値（動画像における動き量）に対して所定の閾値以上、及び／又は前記サブブロック単位で検出した予測ベクトルのＳＳＤ値（誤差二乗和）が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする予測ベクトル確度判定手段（実施例における動きベクトル確度判定部）と、有効と判断したサブブロック単位の予測ベクトルを、前記ブロック単位の予測ベクトルにベクトル加算して補正する補正予測ベクトル生成手段（実施例における補正動きベクトル生成部）と、を備えることを特徴とする。

また、本発明の予測ベクトル補正装置において、前記ブロック単位予測ベクトル検出手段は、小数画素精度で予測ベクトルを検出することを特徴とする。

また、本発明の予測ベクトル補正装置において、前記サブブロック単位予測ベクトル検出手段は、小数画素精度で予測ベクトルを検出することを特徴とする。

また、本発明の予測ベクトル補正装置において、前記予測ベクトル確度判定手段は、前記サブブロック単位で検出した予測ベクトルが、ブロック単位の予測値（動画像における動き量）の半値以上である場合、及び／又は、一致度評価関数値が一定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とすることを特徴とする。

また、本発明の予測ベクトル補正装置において、前記サブブロック単位予測ベクトル検出手段は、数値化可能な最小単位（例えば、動画像における基準フレームの画素単位）で予測ベクトルを検出することを特徴とする。

更に、本発明は、ブロック単位で予測ベクトルを検出して補正する予測ベクトル補正装置として構成するコンピュータに、ブロック単位で予測ベクトルを算出するステップと、前記ブロックよりも小領域のサブブロック単位で予測ベクトルを算出するステップと、前記サブブロック単位で検出した予測ベクトルが、ブロック単位の予測値（動画像における動き量）に対して所定の閾値以上、及び／又は前記サブブロック単位で検出した予測ベクトルのＳＳＤ値（誤差二乗和）が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とするステップと、有効と判断したサブブロック単位の予測ベクトルを、前記ブロック単位の予測ベクトルにベクトル加算して補正するステップと、を実行させるためのプログラムとしても特徴付けられる。

本発明によれば、ブロック単位で求めた予測ベクトル検出結果を、より小領域のサブブロック単位（例えば、画素単位）で再検出し、有効及び無効の判定を行うため、確度の高い予測ベクトルを得ることができる。また、少なくとも小領域のサブブロック単位（例えば、画素単位）で小数画素精度の予測ベクトル検出を行うため、精度の高い予測ベクトルを得ることができる。

本発明による一実施例の予測ベクトル補正装置の概略図である。本発明による一実施例の予測ベクトル補正装置の動作フロー図である。本発明による一実施例の予測ベクトル補正装置におけるブロック単位小数画素動きベクトル検出部の動作説明図である。本発明による一実施例の予測ベクトル補正装置における画素単位小数画素動きベクトル検出部の動作説明図である。本発明による一実施例の予測ベクトル補正装置に係る２次関数近似による小数画素位置のブロックマッチング法の説明図である。動領域における１画素あたりの動きボケ量が映像フォーマットに従って変化する様子を示す図である。

以下、本発明による一実施例の予測ベクトル補正装置１を説明する。

［装置構成］
図１に、本発明による一実施例の予測ベクトル補正装置１を示す。予測ベクトル補正装置１は、動画像のフレームをブロック単位で動きベクトルを検出して補正する装置であり、ブロック単位小数画素動きベクトル検出部１１と、画素単位小数画素動きベクトル検出部１２と、動きベクトル確度判定部１３と、補正動きベクトル生成部１４とを備える。尚、予測ベクトル補正装置１は、各構成要素が処理するのに必要なデータを格納する記憶部（図示せず）を備える。動きベクトル検出を行う基準フレームをＦ（ｔ_Ｃ）、及び動き探索を行う参照フレームをＦ（ｔ_Ｒ）とする。

ブロック単位小数画素動きベクトル検出部１１は、動画像のフレーム画像列についてブロック単位で動きベクトルを算出する。より具体的には、後述するように、ブロック単位小数画素動きベクトル検出部１１は、基準フレームＦ（ｔ_Ｃ）、及び参照フレームＦ（ｔ_Ｒ）を入力して、基準フレームＦ（ｔ_Ｃ）を例えば１６×１６画素のブロックＢ_ｉ，ｊ（ｉ，ｊは、水平及び垂直のブロック番号）で分割し、参照フレームＦ（ｔ_Ｒ）上を探索してブロック単位の動きベクトルｖ_Ｂｉ，ｊを求め、当該記憶部に保持する。ブロック単位の動きベクトル検出は、小数画素精度の動きベクトル検出を行うのが好適である。

画素単位小数画素動きベクトル検出部１２は、ブロックＢ_ｉ，ｊ内の小領域のサブブロック単位（例えば、１画素単位）で動きベクトルを算出する。より具体的には、後述するように、画素単位小数画素動きベクトル検出部１２は、ブロックＢ_ｉ，ｊ内の画素位置（ｋ，ｌ）について、各画素位置の動きベクトルｕ_ｉ，ｊ（ｋ，ｌ）を求め、当該記憶部に保持する。小領域のサブブロック単位（例えば、１画素単位）の動きベクトル検出は、小数画素精度の動きベクトル検出を行うのが好適である。

動きベクトル確度判定部１３は、当該記憶部に保持したブロック単位及びサブブロック単位で検出した動きベクトルを読み出し、サブブロック単位で検出した動きベクトルが、対応するブロック位置のブロック単位の動き量に対して所定の閾値以上、及び／又は前記サブブロック単位で検出した動きベクトルのＳＳＤ値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする確度判定を行う。動きベクトル確度判定部１３は、確度判定によって得られたサブブロック単位の動きベクトルについて有効であるか否かを表す情報と、ブロック単位及びサブブロック単位で検出した動きベクトルの情報を補正動きベクトル生成部１４に送出する。より具体的には、動きベクトル確度判定部１３は、サブブロック単位で検出した動きベクトルが、ブロック単位の動き量の半値以上である場合、及び／又は、サブブロック単位で検出した動きベクトルのＳＳＤ値がＳＳＤ（０）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。

補正動きベクトル生成部１４は、有効と判断したサブブロック単位の動きベクトルを、対応するブロック単位の動きベクトルにベクトル加算して補正する。

これにより、ブロック単位で求めた動きベクトル検出結果を、より小領域のサブブロック単位（例えば、画素単位）で再検出し、サブブロック単位（例えば、画素単位）の動きベクトルについて有効又は無効の判定を行うため、確度の高い動きベクトルを得ることができる。また、少なくとも小領域のサブブロック単位（例えば、画素単位）で小数画素精度の動きベクトル検出を行うため、精度の高い動きベクトルを得ることができる。

以下、図２を参照して、本発明による一実施例の予測ベクトル補正装置１の動作について詳細に説明する。

ステップＳ１にて、フレーム画像列を構成する基準フレームＦ（ｔ_Ｃ）及び参照フレームＦ（ｔ_Ｒ）を入力し、適宜記憶部に保持する。

ステップＳ２にて、ブロック単位小数画素動きベクトル検出部１１により、まず、ブロック単位（例えば、１６×１６画素のブロック単位）の小数画素精度の動きベクトル検出を行う。例えば、図３（ａ）に示すように、基準フレームＦ（ｔ_Ｃ）をブロックＢ_ｉ，ｊ（ｉ，ｊは、水平及び垂直のブロック番号）で分割し、図３（ｂ）に示すように、参照フレームＦ（ｔ_Ｒ）上を探索してブロック単位の動きベクトルｖ_Ｂｉ，ｊを求める。

尚、ブロック単位の動きベクトル検出は、２次関数近似（パラボラフィッティング）による小数画素精度位置のブロックマッチング法、勾配法、位相限定相関法のいずれを用いて行ってもよい。小数画素精度位置は、一致度評価関数として式（１）で与えられる。

尚、ブロック単位での探索位置における水平及び垂直のブロック位置をそれぞれx，ｙとしたとき、例えば、SSD(x)は、水平ブロック位置におけるＳＳＤ値（誤差二乗和）を表す。より具体的には、SSD(0)は中心位置におけるＳＳＤ値、SSD(−1)は中心位置から−Ｓｘ（Ｓｙ）ブロックの位置におけるＳＳＤ値、SSD(1)は中心位置から＋Ｓｘ（Ｓｙ）ブロックの位置におけるＳＳＤ値を表す。式（１）から、水平又は垂直方向のブロック単位の小数精度位置をそれぞれ算出することができる。例えば、図５に示すように、式（１）から２次関数近似して、小数精度位置として−０．３３を得ることができる。尚、探索範囲の大きさを規定する±Ｓｘ又はＳｙの大きさは、±１ブロックとすることができる。

再び図２を参照して、ステップＳ３にて、画素単位小数画素動きベクトル検出部１２により、小領域のサブブロック単位（例えば、画素単位）の小数画素精度の動きベクトル検出を行う。以下、画素単位の小数画素精度の動きベクトル検出を行う例を説明する。

ブロックＢ_ｉ，ｊ内の画素位置（ｋ，ｌ）とし、各画素位置の動きベクトルｕ_ｉ，ｊ（ｋ，ｌ）を、式（１）を用いて、画素単位の小数画素精度位置における動きベクトル検出を行う。画素単位の動きベクトル検出は、２次関数近似（パラボラフィッティング）を用いた一致度評価関数とするブロックマッチング法を用いて、参照フレームＦ（ｔ_Ｒ）上をブロック単位の動きベクトルｖ_Ｂｉ，ｊだけずらした位置を中心とする±Ｓｘ’（Ｓｙ’）の範囲で探索する。尚、探索範囲の大きさを規定する±Ｓｘ’又はＳｙ’の大きさは、±１画素とすることができる（図４参照）。

ステップＳ４にて、動きベクトル確度判定部１３により、求めた画素単位の動きベクトルｕｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量に対して所定の閾値以上、及び／又は画素単位の動きベクトルのＳＳＤ値が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする（ステップＳ５，Ｓ６）。

例えば、求めた画素単位の動きベクトルｕ_ｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量の半値、即ち±（０．５，０．５）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。

更に別の例として、求めた画素単位の動きベクトルｕ_ｉ，ｊ（ｋ，ｌ）が、ＳＳＤ値が一定の閾値（例えば、SSD(0)の値）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。

更に別の例として、求めた画素単位の動きベクトルｕ_ｉ，ｊ（ｋ，ｌ）が、ブロック単位の動き量の半値、即ち±（０．５，０．５）以上である場合、且つＳＳＤ値（誤差二乗和）が一定の閾値（例えば、SSD(0)の値）以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする。

有効と判断した場合に、補正動きベクトル生成部１４により、この基準フレームＦ（ｔ_Ｃ）における小領域のサブブロック単位（例えば、画素単位）の動きベクトルＶ（ｉ，ｊ，ｋ，ｌ）を、Ｖ（ｉ，ｊ，ｋ，ｌ）＝ｖ_Ｂｉ，ｊ＋ｕ_ｉ，ｊ（ｋ，ｌ）として補正する。

尚、補正動きベクトル生成部１４は、無効であるとされた対象の画素単位小数精度位置の動きベクトルについては、その周囲の有効動きベクトル（例えば、最も隣接する有効動きベクトル）で置き換えるか、又は周囲の複数の有効動きベクトルで平均化するか、又は、ブロック単位の動きベクトルで置き換える（即ち、Ｖ（ｉ，ｊ，ｋ，ｌ）＝ｖ_Ｂｉ，ｊ）ことにより、全ての小領域のサブブロック単位（例えば、画素単位）の動きベクトルＶ（ｉ，ｊ，ｋ，ｌ）を決定することもできる。

このように、本実施例の予測ベクトル補正装置１であれば、ブロック単位で求めた動きベクトル検出結果を、より小領域のサブブロック単位（例えば、画素単位）にて小数精度で再検出し、サブブロック単位の動きベクトルについて有効及び無効の判定を行うため、確度の高く、且つ精度も高い動きベクトルを得ることができる。

更に、本発明の一態様として、本発明の予測ベクトル補正装置をコンピュータとして構成させることができる。コンピュータに、本発明の予測ベクトル補正装置の各構成要素を実現させるためのプログラムは、コンピュータの内部又は外部に備えられる記憶部に記憶される。そのような記憶部は、外付けハードディスクなどの外部記憶装置、或いはＲＯＭ又はＲＡＭなどの内部記憶装置で実現することができる。コンピュータに備えられる制御部は、中央演算処理装置（ＣＰＵ）などの制御で実現することができる。即ち、ＣＰＵが、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、記憶部から読み込んで、各構成要素の機能をコンピュータ上で実現させることができる。ここで、各構成要素の機能をハードウェアの一部で実現しても良い。

また、この処理内容を記述したプログラムを、例えばＤＶＤ又はＣＤ−ＲＯＭなどの可搬型記録媒体の販売、譲渡、貸与等により流通させることができるほか、そのようなプログラムを、例えばネットワーク上にあるサーバの記憶部に記憶しておき、ネットワークを介してサーバから他のコンピュータにそのプログラムを転送することにより、流通させることができる。

また、そのようなプログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラム又はサーバから転送されたプログラムを、一旦、自己の記憶部に記憶することができる。また、このプログラムの別の実施態様として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、更に、このコンピュータにサーバからプログラムが転送される度に、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

以上、具体例を挙げて本発明の実施例を詳細に説明したが、本発明の特許請求の範囲から逸脱しない限りにおいて、あらゆる変形や変更が可能であることは当業者に明らかである。例えば、上述の実施例では、２次元の動画像の動きベクトルを扱う例について説明したが、例えば３次元の動画像の動きベクトルや、時間方向の１次元の音声信号の音声パターンベクトルにも適用可能である。

本発明によれば、高精度且つ高確度の予測ベクトルを得ることができるので、予測ベクトルを用いて処理を行う超解像処理や符号化処理などの任意の用途に有用である。特に、画素ごとの動きベクトル検出に加えて、小数画素精度で動きベクトルを検出することで、高精度且つ高確度が要求される超解像処理の用途に有効である。今後、画素ごとの計算負担が問題とならないＣＰＵの処理速度の向上が期待されることから、ブロック単位の動きベクトル検出に加えて画素単位の動きベクトル検出を高精度且つ高確度で行う符号化方式に有用である。

１予測ベクトル補正装置
１１ブロック単位小数画素動きベクトル検出部
１２画素単位小数画素動きベクトル検出部
１３動きベクトル確度判定部
１４補正動きベクトル生成部

Claims

動画像又は音声信号をブロック単位で予測ベクトルを検出して補正する予測ベクトル補正装置であって、
ブロック単位で予測ベクトルを算出するブロック単位予測ベクトル検出手段と、
前記ブロックよりも小領域のサブブロック単位で予測ベクトルを算出するサブブロック単位予測ベクトル検出手段と、
前記サブブロック単位で検出した予測ベクトルが、ブロック単位の予測値に対して所定の閾値以上、及び／又は前記サブブロック単位で検出した予測ベクトルのＳＳＤ値（誤差二乗和）が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とする予測ベクトル確度判定手段と、
有効と判断したサブブロック単位の予測ベクトルを、前記ブロック単位の予測ベクトルにベクトル加算して補正する補正予測ベクトル生成手段と、
を備えることを特徴とする、予測ベクトル補正装置。
前記ブロック単位予測ベクトル検出手段は、小数画素精度で予測ベクトルを検出することを特徴とする、請求項１に記載の予測ベクトル補正装置。
前記サブブロック単位予測ベクトル検出手段は、小数画素精度で予測ベクトルを検出することを特徴とする、請求項１又は２に記載の予測ベクトル補正装置。
前記予測ベクトル確度判定手段は、前記サブブロック単位で検出した予測ベクトルが、ブロック単位の予測値の半値以上である場合、及び／又は、一致度評価関数値が一定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とすることを特徴とする、請求項１、２又は３に記載の予測ベクトル補正装置。
前記サブブロック単位予測ベクトル検出手段は、数値化可能な最小単位で予測ベクトルを検出することを特徴とする、請求項１〜４のいずれか一項に記載の予測ベクトル補正装置。
ブロック単位で予測ベクトルを検出して補正する予測ベクトル補正装置として構成するコンピュータに、
ブロック単位で予測ベクトルを算出するステップと、
前記ブロックよりも小領域のサブブロック単位で予測ベクトルを算出するステップと、
前記サブブロック単位で検出した予測ベクトルが、ブロック単位の予測値に対して所定の閾値以上、及び／又は前記サブブロック単位で検出した予測ベクトルのＳＳＤ値（誤差二乗和）が所定の閾値以上である場合には、確度が低いとして無効とし、それ以外は確度が高いとして有効とするステップと、
有効と判断したサブブロック単位の予測ベクトルを、前記ブロック単位の予測ベクトルにベクトル加算して補正するステップと、
を実行させるためのプログラム。