JP4518111B2

JP4518111B2 - 映像処理装置、映像処理方法、及びプログラム

Info

Publication number: JP4518111B2
Application number: JP2007184975A
Authority: JP
Inventors: 哲雄髭分
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-07-13
Filing date: 2007-07-13
Publication date: 2010-08-04
Anticipated expiration: 2027-07-13
Also published as: CN101360238A; CN101360238B; US20090016623A1; JP2009021963A

Description

本発明は、映像処理装置、映像処理方法、及びプログラムに関する。

近年、情報処理技術、及び情報通信技術の急速な発展に伴い、高品質な映像や音楽のデジタル配信サービスが普及しつつある。しかしながら、高画質映像はデータ容量が膨大であるため、それを経済的に配信するためには何らかの工夫が必要とされる。そのため、高精細な大画面テレビ等で視聴される高画質映像の配信技術には大きな注目が集まっている。その中でも、高画質な映像データを高画質なままにデータ容量を圧縮する種々の符号化技術が盛んに研究されている。例えば、ＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）やＶＣＥＧ（ＶｉｄｅｏＣｏｄｉｎｇＥｘｐｅｒｔｓＧｒｏｕｐ）により規格化された映像データ等の圧縮方式はよく知られた圧縮符号化技術の一つである。

ところで、映像データの圧縮符号化技術の代表的な例として「動き補償」と呼ばれる技術がある。この技術よると、まず、複数のフレーム間で同一又は最も近似する画素を含むブロックが抽出され、そのブロックが移動した方向と移動量とを表す動きベクトルが算出される。そして、フレーム間の差分符号化が行われる際に、その動きベクトルに基づいて画素の補償が行われる。その結果、同一又は近似した画素値を持つブロックがフレーム間で移動した場合等において、画質を悪化させずに映像データのデータ容量を大きく低減させることが可能になる。この技術を応用して、例えば、下記特許文献１のように、フレームレート変換やインターレース／プログレッシブ変換（以下、ＩＰ変換）を行うこともできる。その場合、動き補償を利用してフレーム間を補間する中間画像が生成される。

特開２００７−１０４６５２号公報

しかしながら、動きベクトルの算出に要する処理負荷が他の符号化処理に比べて大きいため、高精度の動きベクトルを算出すること自体が容易ではない。例えば、動きベクトルの算出法として良く知られるブロックマッチング法の例を挙げて簡単に説明する。この方法によると、一対の参照フレームに対してブロック単位で画素値の差分絶対値和が算出され、その最小値に対応するブロックの移動方向と移動量とが算出されることで動きベクトルが決定される。そこで、例えば、所定のブロック位置から水平に±７画素、垂直に±３画素の範囲でブロックマッチングする場合を考えると、１画素の動きベクトルを求めるために『（２１画素の差分＋２１回の絶対値計算＋２１回の累積加算）×水平１５方向×垂直７方向』の計算が必要とされる。つまり、この計算に要するリソースがゲート規模で１００万ゲート以上になる。

そこで、ブロックマッチング法を改良して計算リソースを低減させる種々の技術が日々研究されている。しかしながら、どの技術においても、符号化データをデコードして復元されるフレームに対してブロックマッチング法が適用されており、フレームサイズが大きいこと自体が計算リソースの増加を齎しているという根本的な原因に対する訴求が十分になされているとは言えない。例えば、フレームの画像サイズが１９２０×１０８０画素の場合にデータ量が約１９００Ｍｂｐｓであることが、計算リソースを増大させる原因なのである。これは、インターレースモード、フレームレート６０Ｈｚ、画素データ３０ｂｉｔにおける例であるが、他のフォーマットの場合、データ量が１９００Ｍｂｐｓ以上になることもある。このように、膨大な計算リソースが要求されるという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、計算リソースを低減することが可能な、新規かつ改良された映像処理装置、映像処理方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、符号化データのフレームレートを変換することが可能な映像処理装置が提供される。当該映像処理装置は、入力された符号化データを差分符号化データに復号する差分符号化データ復号部と、前記差分符号化データ及び前記符号化データの一方又は両方に基づいて前記差分符号化データのフレーム間に挿入される補間差分符号化データを生成する補間差分符号化データ生成部と、前記補間差分符号化データを用いて前記差分符号化データのフレームレートを変換するフレームレート変換部とを備える。

また、前記映像処理装置は、前記フレームレート変換部により変換された前記差分符号化データをデコードしてフレームレートが変換された映像信号を復元する映像信号復元部をさらに備えていてもよい。

また、前記映像処理装置は、前記符号化データを高画質処理する高画質処理部をさらに備えていてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、符号化データのフレームレートを変換することが可能な映像処理方法が提供される。当該映像処理方法は、入力された符号化データを差分符号化データに復号する差分符号化データ復号ステップと、前記差分符号化データ及び前記符号化データの一方又は両方に基づいて前記差分符号化データのフレーム間に挿入される補間差分符号化データを生成する補間差分符号化データ生成ステップと、前記補間差分符号化データを用いて前記差分符号化データのフレームレートを変換するフレームレート変換ステップとを含む。

また、上記課題を解決するために、本発明の別の観点によれば、上記の映像処理装置が有する機能をコンピュータに実現させるためのプログラムが提供される。さらに、前記プログラムが記録された記録媒体が提供される。

上記の構成により、フレームレート変換に要する計算リソースが軽減され、必要なフレームメモリの容量が低減され、動き推定の精度が向上されうる。

以上説明したように本発明によれば、計算リソースを低減することが可能になる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［高画質化処理の概要］
まず、本発明の好適な実施形態について説明するのに先立ち、動きベクトルを利用した映像データの高画質化処理について簡単に説明する。尚、高画質化処理の一例として、フレームレート変換について説明するが、以下で述べる本発明の好適な実施形態を適用可能な高画質化処理はこれに限定されるものではない。例えば、上で述べたＩＰ変換等にも適用することが可能である。ＩＰ変換に適用する場合、前後のインターレース画像から推定された動きベクトルを用いて、インターレース画像の奇数番目又は偶数番目のブランクラインが補間される。

（フレームレート変換について）
まず、図１を参照しながら、映像処理装置によるフレームレート変換について簡単に説明する。図１は、動きベクトルを用いたフレームレート変換の原理を説明するための説明図である。図１には、一例として、時刻ｔ_０、ｔ_１、ｔ_２に対応する３つのフレームが記載されている。その中で、時刻ｔ_０及びｔ_２に対応するフレームをオリジナルフレームと呼び、時刻ｔ_１に対応するフレームを補間フレームと呼ぶことにする。オリジナルフレームは、変換前の映像データに含まれるフレームである。一方、補間フレームは、動きベクトルを用いて新たに生成されるフレームである。

フレームレート変換とは、図１に示すように、オリジナルフレーム間に補間フレームを挿入することによって映像データの時間解像度を高める処理である。その際、補間フレームは、例えば、前後の時刻に対応するオリジナルフレームの画素値に基づいて生成される。図１の例で説明すると、補間フレームの画素Ａ”は、時刻ｔ_０のオリジナルフレームに含まれる画素Ａと、その画素Ａに対応し、時刻ｔ_２のオリジナルフレームに含まれる画素Ａ’とに基づいて算出される。このとき、画素Ａと画素Ａ’との間の対応関係は、動きベクトルＭＶ_０２により表現される。動きベクトルとは、ある画素が移動する方向と移動する速さ（単位時間当たりの移動量）とを表すベクトル量である。従って、動きベクトルＭ_０２が算出されると、映像処理装置は、補間フレームが挿入される時刻ｔ_１（即ち、Δｔ_０１、Δｔ_０２）と動きベクトルＭ_０２とに基づいて、画素Ａ及び画素Ａ’に対応する補間フレーム上の画素Ａ”を生成することが可能になる。

（ブロックマッチング法について）
例えば、映像処理装置は、ブロックマッチング法を用いて動きベクトルを推定することができる。ブロックマッチング法とは、参照されるオリジナルフレーム（以下、参照フレーム）の各画素値に対し、所定サイズのブロック単位で差分絶対値和を算出した上で、その最小値に対応するブロックを抽出する手法である。

ここで、図２の例を参照しながら、ブロックマッチング法について簡単に説明する。図２は、ブロックマッチング法の原理を説明するための説明図である。図２の例では、ブロックのサイズをｘ方向に５画素、ｙ方向に３画素としているが、これに限定されない。また、図２の各図は、図１の投影図に対応する。

まず、映像処理装置は、生成したい補間フレーム上の画素Ａ”に画素Ａ及びＡ’が一致するように各ブロックを設定する（Ｓｔｅｐ．０）。次いで、映像処理装置は、画素Ａに対応するブロック（以下、ブロックＡ）をｘ方向及びｙ方向に所定画素数だけ移動させる。同様に、映像処理装置は、画素Ａ’に対応するブロック（以下、ブロックＡ’）をブロックＡと逆方向に移動させる。例えば、映像処理装置は、ブロックＡをｘ方向に−２画素、ｙ方向に１画素移動させ、ブロックＡ’をｘ方向に２画素、ｙ方向に−１画素移動させる。そして、映像処理装置は、ブロックＡの各画素値と、それに対応するブロックＡ’の各画素値との間の差分絶対値を算出する。

図２のＳｔｅｐ．１に示すように、例えば、映像処理装置は、ブロックＡの右上（位置（１，５））に位置する画素の画素値ｑ_１５と、ブロックＡ’の右上（位置（１，５））に位置する画素の画素値ｑ’_１５との間の差分絶対値｜Δｑ_１５｜＝｜ｑ_１５−ｑ’_１５｜を算出する。但し、位置（ｉ，ｊ）は、ブロックの左上隅を位置（１，１）として、ｘ方向のｉ番目、ｙ方向のｊ番目にある画素の位置を表すものとする。同様にして、映像処理装置は、ブロックＡ及びＡ’に含まれる全ての画素に対して差分絶対値｜Δｑ_ｉｊ｜（ｉ＝１〜５，ｊ＝１〜３）を算出する。その後、映像処理装置は、全ての差分絶対値｜Δｑ_ｉｊ｜を累積して差分絶対値和Ｓ_１＝Σ｜Δｑ_ｉｊ｜を算出する。

さらに、映像処理装置は、ブロックＡ及びＡ’の位置を移動させて差分絶対値和を算出する。例えば、映像処理装置は、Ｓｔｅｐ．１の位置からブロックＡをｘ方向に−２画素、ｙ方向に１画素移動し、ブロックＡ’をｘ方向に２画素、ｙ方向に−１画素移動させる。そして、映像処理装置は、Ｓｔｅｐ．１と同様に、移動後のブロックＡ及びＡ’の各画素に対して差分絶対値｜Δｑ_ｉｊ｜を算出した上で、差分絶対値和Ｓ_２＝Σ｜Δｑ_ｉｊ｜を算出する（Ｓｔｅｐ．２）。

さらに、映像処理装置は、Ｓｔｅｐ．１及びＳｔｅｐ．２と同様にして、様々な位置にブロックＡ及びＡ’を移動させながら、差分絶対値和Ｓ_ｋ（ｋ＝１，２，．．．）を算出する。その後、映像処理装置は、算出された差分絶対値和Ｓ_ｋの最小値Ｓ_ｍｉｎを抽出し、最小値Ｓ_ｍｉｎに対応するブロックＡ及びＡ’の位置を検出する。そして、映像処理装置は、最小値Ｓ_ｍｉｎに対応するブロックＡ及びＡ’について、ブロックＡに含まれる画素Ａと、ブロックＡ’に含まれる画素Ａ’とを結ぶベクトルを動きベクトルＭＶ_０２に設定する。上記のように、参照フレームのブロック（以下、参照ブロック）を移動させながら差分絶対値和を算出して動きベクトルを推定する方法をブロックマッチング法と呼ぶ。

図２の例では、説明の都合上、ブロックを移動させる方向や移動量を大雑把に示したが、実際には、１画素又は少数の画素単位でブロックを移動させながら、±ｘ方向及び±ｙ方向にそれぞれブロックマッチングが行われる。特に、高精度に動きベクトルを推定する場合には、より細かな画素単位で全方向にブロックマッチングが行われる。以下の説明において、上記の方法又は他の方法を用いて動きベクトルを推定することを単に動き推定と呼ぶことがある。

上記のように、ブロックマッチング法を用いることで、比較的単純なアルゴリズムにより動きベクトルの推定が可能になる。しかしながら、ブロックマッチング法は、動きベクトルを推定する処理に要する計算リソースが大きいという問題点を含んでいる。図２のように、参照ブロックを互いに対称的に移動させてブロックマッチングした場合でも膨大な計算量が必要になる。例えば、ｘ方向に±７画素、ｙ方向に±３画素の移動幅と１画素単位の移動量とを考慮してブロックマッチングする場合、ブロックのサイズが２１画素であるから、１つの動きベクトルを推定するのに要する演算量は、（２１画素の差分絶対値演算＋累積演算）＊ｘ方向の移動分（１５画素）＊ｙ方向の移動分（７画素）となり、ゲート規模で１００万ゲートを越えてしまう。そのため、フレームレート変換の際に、計算リソースを削減することが可能な技術が求められているのである。

《映像処理装置１０の機能構成》
ここで、図３を参照しながら、上記のフレームレート変換をすることが可能な通常の映像処理装置１０の機能構成について簡単に説明する。図３は、フレームレート変換をすることが可能な映像処理装置１０の機能構成を示す説明図である。後ほど、ここで述べる映像処理装置１０の機能構成と、本発明の好適な実施形態に係る映像処理装置の機能構成とが対比して説明される。

図３に示すように、映像処理装置１０は、主に、映像信号復元ブロック２０と、フレームレート変換ブロック４０とにより構成される。映像信号復元ブロック２０は、例えば、ＭＰＥＧやＨ．２６４の方式等で符号化された符号化データを元の映像信号に復元するための機能構成ブロックである。また、フレームレート変換ブロック４０は、映像信号復元ブロック２０により復元された映像信号をフレームレート変換して高画質化するための機能構成ブロックである。

（映像信号復元ブロック２０）
映像信号復元ブロック２０は、例えば、可変長復号部２２と、逆量子化部２４と、変換復号部２６と、フレームメモリ２８と、動き補償復号部３０とにより構成される。

可変長復号部２２は、入力端子Ｉｎから入力される可変長符号化（ＶＬＣ；ＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ）された符号化データ（例えば、ＭＰＥＧビットストリーム等）を復号（ＶＬＤ；ＶａｒｉａｂｌｅｌｅｎｇｔｈＤｅｃｏｄｉｎｇ）する。次いで、逆量子化部２４は、可変長復号部２２により可変長復号された符号化データを逆量子化する。次いで、変換復号部２６は、逆量子化された符号化データを逆離散コサイン変換（ＩＤＣＴ；ＩｎｖｅｒｓｅＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）する。但し、符号化データの変換方式に、ＤＣＴとは異なる他の変換方式（例えば、ＫＬ変換（Ｋａｒｈｕｎｅｎ−ＬｏｅｖｅＴｒａｎｓｆｏｒｍ）やウェーブレット変換等）を用いることもできる。その場合、変換復号部２６は、他の変換方式に応じた逆変換をする。

次いで、動き補償復号部３０は、変換復号部２６により復号された符号化データから動きベクトルを算出し、これに基づいて元の映像信号を復元する。例えば、動きベクトルは、マクロブロック単位で算出される。このとき、動き補償復号部３０は、フレームを蓄積するためのフレームメモリ２８を利用する。例えば、動き補償復号部３０は、動きベクトルに基づいて算出される差分画像とフレームメモリ２８に蓄積されたフレーム画像とを合成して映像信号を復元する等の処理を実行する。そして、動き補償復号部３０は、復元された映像信号の情報（例えば、色度値（Ｙ，Ｃｂ，Ｃｒ）等）をフレームレート変換ブロック４０に伝送する。

（フレームレート変換ブロック４０）
フレームレート変換ブロック４０は、例えば、動き検出部４２と、フレームレート変換部４４と、フレームメモリ５０とにより構成される。また、フレームレート変換部４４は、主に、補間動きベクトル算出部４６と、補間フレーム生成部４８とにより構成される。

動き検出部４２は、映像信号復元ブロック２０から入力された映像信号に基づいて、フレーム間の動きベクトルを検出する。例えば、動き検出部４２は、ブロックマッチング法等に基づいて動きベクトルの検出を行う。

フレームレート変換部４４は、動きベクトルに基づいて映像信号のフレーム間に挿入する補間フレームを生成する機能を有する。また、フレームレート変換部４４は、生成した補間フレームを映像信号のフレーム間に挿入することにより、映像信号のフレームレートを変換する機能を有する。これらの機能を実現させるために、補間動きベクトル算出部４４は、映像信号復元ブロック２０から取得した映像信号と動き検出部４２により検出された動きベクトルとに基づいて、補間フレームに対応する補間動きベクトルＭＶ_ｉｔｐを算出する。例えば、補間動きベクトル算出部４６は、元の動きベクトルと同じ方向を有し、参照フレーム間の時間間隔と参照フレームー補間フレーム間の時間間隔との比率から決定される長さとを有するベクトル量を補間動きベクトルとして決定する。

次いで、補間フレーム生成部４８は、補間動きベクトル算出部４６により決定された補間動きベクトルを用いて補間フレームの画素を生成する。例えば、補間フレーム生成部４８は、参照フレームの画素を補間動きベクトルに基づいて移動させ、補間フレームの画素に設定する。このとき、補間フレーム生成部４８は、フレームメモリ５０に蓄積された参照フレームを参照しながら補間フレームを生成すると共に、補間フレームを挿入して映像信号を生成する。フレームレート変換された映像信号は、出力端子Ｏｕｔに出力される。

以上、画像処理装置１０の機能構成について簡単に説明した。上記の機能構成により、映像信号のフレームレート変換が可能になるが、動き検出部４２の処理に必要な計算リソースが大きい上、補間フレームの生成に別途フレームメモリ５０を必要とするため、装置自体の製品コストが増大してしまう。そこで、これらの問題を解決することが可能な本発明の好適な実施形態について、以下で詳細に説明する。

＜本発明の一実施形態＞
ここで、本発明の一実施形態について詳細に説明する。本実施形態の特徴は、フレーム間差分符号化された符号化データをデコードする前段でフレームレート変換を実行する構成にある。この構成を適用することにより、補間動きベクトルを生成する際に要する計算リソースが低減されると共に、フレームレート変換された映像信号の生成処理に要するフレームメモリの容量を削減することが可能になる。

［映像処理装置１００の機能構成］
図４を参照しながら、本実施形態に係る映像処理装置１００の機能構成について説明する。図４は、本実施形態に係る映像処理装置１００の機能構成を示す説明図である。

図４に示すように、映像処理装置１００は、主に、可変長復号部１０２と、逆量子化部１０４と、変換復号部１０６と、フレームレート変換部１１０と、フレームメモリ１２２と、動き補償復号部１２４とにより構成される。さらに、フレームレート変換部１１０は、補間動きベクトル算出部１１２と、補間フレーム生成部１１４とを含む。

可変長復号部１０２は、入力端子Ｉｎから入力される可変長符号化された符号化データを復号する。次いで、逆量子化部１０４は、可変長復号部１０２により可変長復号された符号化データを逆量子化する。次いで、変換復号部１０６は、逆量子化された符号化データを逆離散コサイン変換する。但し、符号化データの変換方式に、ＤＣＴとは異なる他の変換方式（例えば、ＫＬ変換やウェーブレット変換等）を用いることもできる。その場合、変換復号部１０６は、他の変換方式に応じた逆変換をする。

このとき、変換復号部１０６から出力される映像信号は、フレーム間差分符号化されたデータ（以下、差分符号化データ）である。上記の映像処理装置１０の場合、この差分符号化データを動き補償して元の映像信号に復号した上でフレームレート変換していた。しかし、本実施形態に係る映像処理装置１００は、後述するように、差分符号化データのフレーム間に挿入される補間差分符号化データを直接的に生成した上で映像信号を復元する構成が上記の映像処理装置１０と明確に相違する点に注意されたい。

フレームレート変換部１１０は、符号化データから得られる差分符号化データの動きベクトルに基づいて、差分符号化データのフレーム間に挿入する補間差分符号化フレームを生成する機能を有する。また、フレームレート変換部１１０は、生成した補間差分符号化フレームを差分符号化データのフレーム間に挿入することにより、符号化データのフレームレートを変換する機能を有する。

これらの機能を実現させるために、補間動きベクトル算出部１１２は、差分符号化データに含まれる画素の動きベクトルに基づいて、補間差分符号化フレームに対応する動きベクトル（以下、補間動きベクトル）を算出する。例えば、補間動きベクトル算出部１１２は、元の動きベクトルと同じ方向を有し、かつ、参照フレーム間の時間間隔と、参照フレームと補間フレームとの間の時間間隔と、の比率から決定される長さを有する補間動きベクトルを算出する。

次いで、補間フレーム生成部１１４は、補間動きベクトル算出部１１２により算出された補間動きベクトルを用いて補間差分符号化フレームの画素を生成する。例えば、補間フレーム生成部１１４は、参照される差分符号化データの画素を補間動きベクトルに基づいて移動させ、補間差分符号化フレームの画素に設定する。このとき、補間フレーム生成部１１４は、フレームメモリ１２２に蓄積された差分符号化データを参照しながら補間差分符号化フレームを生成すると共に、補間差分符号化フレームを差分符号化データに挿入してフレームレート変換された差分符号化データを生成する。補間フレーム生成部１１４は、フレームレート変換された差分符号化データを動き補償復号部１２４に入力する。尚、上記の補間動きベクトルは、フレームメモリ１２２に蓄積されて後述する動き補償復号部１２４の処理に利用されうる。

次いで、動き補償復号部１２４は、補間フレーム生成部１１４から入力された差分符号化データと、フレームメモリ１２２に蓄積された補間動きベクトルとに基づいて映像信号を生成する。尚、この差分符号化データには既にオリジナルの差分符号化データのフレームと補間差分符号化フレームとが含まれているため、出力される映像信号は、フレームレート変換されたものになる。

（フレームレート変換方法について）
ここで、図５を参照しながら、本実施形態に係るフレームレート変換方法について具体例を挙げて詳細に説明する。図５は、本実施形態に係るフレームレート変換方法の具体例を示す説明図である。尚、この方法は、フレームレート変換部１１０により実行される。

図５には、時刻ｔ_０に対応するＩピクチャフレーム（Ｉ−ｐｉｃｔ．）と、時刻ｔ_２に対応するＢピクチャフレーム（Ｂ−ｐｉｃｔ．）と、時刻ｔ_３に対応するＰピクチャフレーム（Ｐ−ｐｉｃｔ．）とが示されている。この例は、ＩピクチャフレームとＢピクチャフレームとの間に補間フレーム（Ｉｔｐ−ｐｉｃｔ．）を挿入してフレームレートを変換する方法を示している。また、この例の前提として、時刻ｔ_２のＢピクチャフレームは、時刻ｔ_０のＩピクチャフレームと時刻ｔ_３のＰピクチャフレームとを参照フレームにして復元されるものと仮定する（双方向参照）。もちろん、前方参照や後方参照の場合にも実質的に同一の方法が適用可能である。

また、Ｉピクチャフレームの画素Ａ_０からＢピクチャフレームの画素Ａ_２への動きベクトルをＭＶ_０２、Ｐピクチャフレームの画素Ａ_３からＢピクチャフレームの画素Ａ_２への動きベクトルをＭＶ_３２と表現する。これらの動きベクトル（ＭＶ_０２、ＭＶ_３２）は、入力される符号化データから得られる。そこで、補間動きベクトル算出部１１２は、補間フレームの時刻（生成タイミング時間）に基づいて補間フレームに対応する補間動きベクトルＭＶ_０１及びＭＶ_３１を算出する。

例えば、補間動きベクトル算出部１１２は、Ｉピクチャフレームと補間フレームとの間の時間間隔Δｔ_０１＝ｔ_１−ｔ_０、及びＩピクチャフレームとＢピクチャフレームとの間の時間間隔Δｔ_０２＝ｔ_２−ｔ_０の比率に基づき、動きベクトルＭＶ_０２の長さをΔｔ_０１／Δｔ_０２倍して補間動きベクトルＭＶ_０１を生成する。同様に、補間動きベクトル算出部１１２は、補間フレーム、Ｂピクチャフレーム、及びＰピクチャフレームの間の時間間隔に基づいて、動きベクトルＭＶ_３２の長さをΔｔ_１３／Δｔ_２３倍して補間動きベクトルＭＶ_３１を生成する。つまり、ＭＶ_０１＝ＭＶ_０２＊（Δｔ_０１／Δｔ_０２）、ＭＶ_３１＝ＭＶ_３２＊（Δｔ_１３／Δｔ_２３）となる。

上記のような方法により、補間動きベクトル算出部１１２は、補間差分符号化フレームに含まれる全てのマクロブロックに対して補間動きベクトルを算出することができる。尚、このときにオリジナルの符号化データのヘッダ情報を更新してもよい。

次いで、補間フレーム生成部１１４は、例えば、補間動きベクトルＭＶ_０１に従ってＩピクチャフレームの画素Ａ_０を移動させ、補間フレームの画素ａ_１ ^（０１）を生成する。同様に、補間フレーム生成部１１４は、例えば、補間動きベクトルＭＶ_３１に従ってＰピクチャフレームの画素Ａ_３を移動させ、補間フレームの画素ａ_１ ^（３１）を生成する。そして、補間フレーム生成部１１４は、補間フレームの画素ａ_１ ^（０１）の画素値と画素ａ_１ ^（３１）の画素値とを平均することで補間フレームの画素Ａ_１を生成することができる。尚、フレーム生成部１１４は、Ｉピクチャフレームから算出された補間動きベクトルＭＶ_０１に重みを付けて平均することで補間フレームの画素Ａ_１を生成するように構成してもよい。その後、動き補償復号部１２４は、復元されたＩピクチャフレーム、補間フレーム、Ｂピクチャフレーム、Ｐピクチャフレームを順に出力することで、高フレームレートの映像信号が出力される。

以上、本実施形態に係る映像処理装置１００の機能構成、及びフレームレート変換方法について説明した。上記の構成を適用すると、通常の映像処理装置１０において必要とされた動き検出部４２が不要になる。また、少ないフレームメモリのメモリ容量と計算リソースとによりフレームレート変換が可能になる。さらに、本実施形態に係る映像処理装置１００は、通常の映像処理装置１０と異なり、内部で動きベクトルの検出を行わないため、内部の動きベクトル検出性能に補間フレームの精度が依存しないという利点もある。その結果、本実施形態に係る映像処理装置１００は、通常の映像処理装置１０に比べて、よりオリジナルの映像に近い補間フレームを生成することが可能になる。

［ハードウェア構成］
上記装置が有する各構成要素の機能は、例えば、図６に示すハードウェア構成を有する情報処理装置により実現することが可能である。図６は、上記装置の各構成要素が有する機能を実現することが可能な情報処理装置のハードウェア構成を示す説明図である。

図６に示すように、前記の情報処理装置は、主に、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０４と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０６と、ホストバス９０８と、ブリッジ９１０と、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６とにより構成される。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、例えば、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する。ＲＡＭ９０６は、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等を一時的又は永続的に格納する。これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８によって相互に接続されている。また、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続されている。

入力部９１６は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等の操作手段である。また、入力部９１６は、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントロール手段（所謂、リモコン）であってもよい。なお、入力部９１６は、上記の操作手段を用いて入力された情報を入力信号としてＣＰＵ９０２に伝送するための入力制御回路等により構成されている。

出力部９１８は、例えば、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅ）、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、ＰＤＰ（ＰｌａｓｍａＤｉｓｐｌａｙＰａｎｅｌ）、又はＥＬＤ（Ｅｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。

記憶部９２０は、各種のデータを格納するための装置であり、例えば、ハードディスクドライブ（ＨＤＤ；ＨａｒｄＤｉｓｋＤｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ−ＤＶＤメディア、コンパクトフラッシュ（ＣＦ；ＣｏｍｐａｃｔＦｌａｓｈ）（登録商標）、メモリースティック、又はＳＤメモリカード（ＳｅｃｕｒｅＤｉｇｉｔａｌｍｅｍｏｒｙｃａｒｄ）等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード（ＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔＣａｒｄ）、又は電子機器等であってもよい。

接続ポート９２４は、例えば、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（ＳｍａｌｌＣｏｍｐｕｔｅｒＳｙｓｔｅｍＩｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、放送、又は衛星通信等である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、上記の実施形態においては、ＭＰＥＧ符号化データを意識して説明を行ったが、Ｈ．２６４／ＡＶＣ符号化データ等の他の動きベクトルを用いた符号化データデコーダを有するシステムに適用することも可能である。Ｈ．２６４／ＡＶＣの場合、Ｂピクチャフレームの符号化データは、任意の複数フレームを参照フレームとして利用している。しかし、上記の実施形態で説明したように、動きベクトルを参照フレームと補間フレームの生成タイミング時間の比率によって算出することで、上記の実施形態に係るフレームレート変換技術を適用することが可能である。

他の例として、補間フレームの画素を生成する際、過去のフレームに対する動きベクトルを同時に参照し、複数の動きベクトルに基づいて補間動きベクトル又は補間フレームの画素を生成することも可能である。それにより、より高精度の動き補償が可能になる。さらに、入力される符号化データに対してシャープネス等の高画質処理を施すことにより、出映像信号が平滑化、或いは精細化されるため、補間差分符号化フレームに対する動きベクトルの生成精度が低い場合でも高品質の映像信号が得られる。その結果、出力表示画像のサイズが大型化しても、その影響を受けにくくなる。

フレームレート変換の原理を示す説明図である。ブロックマッチング法の原理を示す説明図である。フレームレート変換が可能な映像処理装置の機能構成を示す説明図である。本発明の一実施形態に係る映像処理装置の機能構成を示す説明図である。同実施形態に係るフレームレート変換方法を示す説明図である。同実施形態に係る映像処理装置のハードウェア構成を示す説明図である。

符号の説明

１００映像処理装置
１０２可変長復号部
１０４逆量子化部
１０６変換復号部
１１０フレームレート変換部
１１２補間動きベクトル算出部
１１４補間フレーム生成部
１２２フレームメモリ
１２４動き補償復号部

Claims

映像データを差分符号化して得られる差分符号化データ及び動きベクトルを含む符号化データが入力された場合に、当該符号化データに含まれる動きベクトルの長さを所定の時刻に対応するように短縮した補間動きベクトルを生成する補間動きベクトル生成部と、
前記符号化データに対して、映像をシャープネス化するような高画質処理を施した後、
前記動きベクトルに対応する差分符号化データを前記補間動きベクトル生成部で生成された補間動きベクトルに基づいて移動させることにより補間差分符号化データを生成する補間差分符号化データ生成部と、
前記差分符号化データと前記補間差分符号化データ生成部で生成された補間差分符号化データとを用いてデコードし、元の前記映像データよりもフレームレートの高い映像データを生成するフレームレート変換部と、
を備え、
前記補間差分符号化データ生成部は、前記動きベクトルの参照元となるフレームの時刻ｔ１と、当該動きベクトルの参照先となるフレームの時刻ｔ２との間に位置する前記所定の時刻ｔ１２に対応する補間動きベクトルを生成する際、当該動きベクトルの長さを｜ｔ１２−ｔ１｜／｜ｔ２−ｔ１｜倍に短縮する、映像処理装置。
映像データを差分符号化して得られる差分符号化データ及び動きベクトルを含む符号化データが入力された場合に、当該符号化データに含まれる動きベクトルの長さを所定の時刻に対応するように短縮した補間動きベクトルを生成する補間動きベクトル生成ステップと、
前記符号化データに対して、映像をシャープネス化するような高画質処理を施した後、
前記動きベクトルに対応する差分符号化データを前記補間動きベクトル生成ステップで生成された補間動きベクトルに基づいて移動させることにより補間差分符号化データを生成する補間差分符号化データ生成ステップと、
前記差分符号化データと前記補間差分符号化データ生成ステップで生成された補間差分符号化データとを用いてデコードし、元の前記映像データよりもフレームレートの高い映像データを生成するフレームレート変換ステップと、
を含み、
前記補間差分符号化データ生成ステップでは、前記動きベクトルの参照元となるフレームの時刻ｔ１と、当該動きベクトルの参照先となるフレームの時刻ｔ２との間に位置する前記所定の時刻ｔ１２に対応する補間動きベクトルを生成する際、当該動きベクトルの長さを｜ｔ１２−ｔ１｜／｜ｔ２−ｔ１｜倍に短縮する、映像処理方法。
映像データを差分符号化して得られる差分符号化データ及び動きベクトルを含む符号化データが入力された場合に、当該符号化データに含まれる動きベクトルの長さを所定の時刻に対応するように短縮した補間動きベクトルを生成する補間動きベクトル生成機能と、
前記符号化データに対して、映像をシャープネス化するような高画質処理を施した後、
前記動きベクトルに対応する差分符号化データを前記補間動きベクトル生成機能で生成された補間動きベクトルに基づいて移動させることにより補間差分符号化データを生成する補間差分符号化データ生成機能と、
前記差分符号化データと前記補間差分符号化データ生成機能で生成された補間差分符号化データとを用いてデコードし、元の前記映像データよりもフレームレートの高い映像データを生成するフレームレート変換機能と、
をコンピュータに実現させるためのプログラムであり、
前記補間差分符号化データ生成機能は、前記動きベクトルの参照元となるフレームの時刻ｔ１と、当該動きベクトルの参照先となるフレームの時刻ｔ２との間に位置する前記所定の時刻ｔ１２に対応する補間動きベクトルを生成する際、当該動きベクトルの長さを｜ｔ１２−ｔ１｜／｜ｔ２−ｔ１｜倍に短縮する、プログラム。