JP5038400B2 - 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体 - Google Patents

Description

本発明は、フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に関する。ただし、この発明の利用は、前述の画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体に限るものではない。

近年の通信網の発達に伴い様々な種類のデータ配信がおこなわれている。これらのデータ配信のなかでも、特にデータ量の多い動画の符号化処理時にデータ量をいかに圧縮するかが円滑なデータ配信をおこなうために重要となる。画像圧縮技術としては、たとえば、離散コサイン変換（ＤＣＴ；Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、フレーム間予測、動き補償（ＭＣ；Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ）、エントロピー符号化などが挙げられる。

また、上述したような画像圧縮技術によって圧縮された動画データの受信装置においても、受信した圧縮動画データを利用して高画質な動画を再生させるための技術が開発されている。たとえば、補間フレーム作成の精度をさらに向上させる補間フレーム作成機能を備えた受信装置が開示されている。この受信装置は、動き補償符号化された符号化画像信号を復号化して得られた画像フレームを補間するための補間フレームを作成するために、動きベクトル導出部と、補間フレーム作成部とを備えている。動きベクトル導出部は、符号化画像信号を構成する符号化ブロックの動き補償ベクトルを取得する。また、補間フレーム作成部は、画像フレームを構成する画像ブロックの動きベクトルに基づいて、補間フレームを作成する手段であって、画像ブロックの動きベクトルとして、符号化ブロックの動き補償ベクトルを用いる（下記特許文献１参照。）。

特開２００５−６２７５号公報

しかしながら、上述したような動画圧縮技術を利用して効率的に圧縮画像を配信する場合であっても、動画再生時の単位時間あたりの画像フレーム数はあらかじめ固定されている。たとえば、地上デジタル放送の場合、各放送局からは、Ｈ．２６４符号化方式（以下、「Ｈ．２６４」という）によって圧縮した動画を配信するが、備え付けテレビなど固定型の受信機用に配信されるハイビジョン放送と、携帯電話などの移動型の受信機用に配信されるワンセグメント（ワンセグ）放送では、１秒あたりの画像フレーム数が異なっている。

ハイビジョン放送では、１秒あたり３０枚の画像フレームの情報を配信するのに対して、ワンセグ放送では、１秒あたり１５枚の画像フレームの情報が配信されるに過ぎない。このように、動画圧縮の効率がよくても、ワンセグ放送のように単位時間あたりの画像フレームとして配信される情報が少なければ、動画のコマ数が少なくなり、受信機によって滑らかな動画を再生できないという問題が一例として挙げられている。

また、上述したように、上記特許文献１の技術では、配信された画像フレームの情報を用いて補間フレームを生成することができる。補間フレームを生成することによって、単位時間あたりの画像フレーム数が少なくても、受信側で連続する画像フレーム間の中間画像となる補間フレームを生成して動画のコマ数を増やすことができる。

しかしながら、上記特許文献１の技術では、作成した補間フレームをフレーム間予測に適しているか否かを判定し、適していると判定された画像フレームのみを補間フレームに採用している。この補間フレームの判定には、ＤＣＴ係数の和が、しきい値より大きい画像ブロックの数、イントラブロックの数、参照画像の相関性の大小などを参照するなど複雑な処理が必要となり、補間フレーム作成のための処理量が大きくなってしまい受信装置の負荷が大きくなってしまうという問題が一例として挙げられる。

請求項１の発明にかかる画像処理装置は、フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理装置において、フレームを分割するブロックの中から、シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているブロックを抽出する抽出手段と、前記抽出手段によって抽出したブロックのシンタックス要素に含まれている情報に応じて、前記ブロックに設定されている動きベクトルの信頼性を判断する判断手段と、前記判断手段によって動きベクトルの信頼性が高いと判断されたブロックを注目ブロックとし、当該注目ブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する採用手段と、を備えることを特徴とする。

また、請求項１０の発明にかかる画像処理装置は、フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理装置において、前記フレームを分割するブロックの中から、シンタックス要素に基づいて所定の基準を満たすブロックを選択する選択手段と、前記選択手段によって選択されたブロックのうち、前記シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているブロックを抽出する抽出手段と、前記抽出手段によって抽出されたブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する採用手段と、を備えることを特徴とする。

また、請求項１１の発明にかかる画像処理方法は、フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理方法において、フレームを分割するブロックの中から、シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているブロックを抽出する抽出工程と、前記抽出工程によって抽出したブロックのシンタックス要素に含まれている情報に応じて、前記ブロックに設定されている動きベクトルの信頼性を判断する判断工程と、前記判断工程によって動きベクトルの信頼性が高いと判断されたブロックを注目ブロックとし、当該注目ブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する採用工程と、を含むことを特徴とする。

また、請求項１２の発明にかかる画像処理方法は、フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理方法において、前記フレームを分割するブロックの中から、シンタックス要素に基づいて所定の基準を満たすブロックを選択する選択工程と、前記選択工程によって選択されたブロックのうち、前記シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているブロックを抽出する抽出工程と、前記抽出工程によって抽出されたブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する採用工程と、を含むことを特徴とする。

また、請求項１３の発明にかかる画像処理プログラムは、請求項１１または１２に記載の画像処理方法をコンピュータに実行させることを特徴とする。

また、請求項１４の発明にかかる記録媒体は、請求項１３に記載の画像処理プログラムをコンピュータに読み取り可能に記録したことを特徴とする。

図１は、画像フレームを示す説明図である。 図２は、マクロブロック・サイズを示す説明図である。 図３は、マクロブロックの動きベクトル設定例を示す説明図である。 図４は、本実施の形態にかかる画像処理装置の機能的構成を示すブロック図である。 図５は、ブロック選択処理を示す説明図である。 図６は、本実施の形態にかかる画像処理装置の処理の内容を示すフローチャートである。 図７は、携帯端末装置の構成を示すブロック図である。 図８は、補間フレーム生成部の詳細な構成を示すブロック図である。 図９は、フレーム補間処理の手順を示すフローチャートである。 図１０は、採用ブロック選択部におけるブロック選択処理を示すフローチャートである。 図１１は、ビットレートに応じたマクロブロックの選択基準の一例を示す説明図である。

符号の説明

１００ 画像フレーム
１０１ マクロブロック
４００ 画像処理装置
４０１ 抽出部
４０２ 判断部
４０３ 採用部
４０４ 選択部
４０５ 検出部

以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体の好適な実施の形態を詳細に説明する。

（Ｈ．２６４符号化方式の概要）
本実施の形態にかかる画像処理装置は、動画像符号化技術の国際基準であるＨ．２６４によって圧縮された動画データを扱う。Ｈ．２６４とは、ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）のＶｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＶＣＥＧ）によって策定された動画圧縮の規格である。また、Ｈ．２６４は、その特徴としては、空間変換やフレーム間予測、量子化、エントロピー符号化を採用して画像圧縮をおこなう。さらに、Ｈ．２６４では上述のような各種の画像圧縮技術に対して多数の改良が施されており、算術符号化やフィルタなどのツールも追加されている。また、画像特徴に応じて多彩なモードを適応的に使い分けることで、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、ＭＰＥＧ−４など従来の符号化方式よりも優れた圧縮効率を達成している。

本実施の形態にかかる画像処理装置では、特に上述した画像圧縮技術のなかのフレーム間予測を利用して動画の品質を向上させる。一般的に、動画とは、連続するフレーム画像を順次再生させることによって表示させている。フレーム間予測とは、これら連続する画像フレームから異なる時刻の画像フレームに基づいて予測画像を生成し、入力画像と予測画像の差分（誤差）画像を符号化する方式である。

図１は、画像フレームを示す説明図である。図１のように、１枚の画像フレーム１００は、複数の領域に分割されている。この分割された領域をそれぞれマクロブロック１０１という。連続する画像フレームのフレーム補間や、動き補償をおこなう場合には、このマクロブロック１０１単位で処理される。

また、Ｈ．２６４には、可変マクロブロック・サイズという仕様が備えられている。図２は、マクロブロック・サイズを示す説明図である。図２のように、Ｈ．２６４では、１６×１６画素のマクロブロックを基準に下記の７種類のサイズが設定されている。

・１６×１６画素（最大ブロックサイズ）
・１６×８画素
・８×１６画素
・８×８画素
・８×４画素
・４×８画素
・４×４画素（最小ブロックサイズ）
（横画素×縦画素）

マクロブロック１０１には上記７種類のいずれかのマクロブロック・サイズであるかをあらわすマクロブロックタイプの情報が含まれている。また、Ｈ．２６４では、マクロブロック１０１ごとに、シンタックス要素が設定されている。ここでシンタックスとは、圧縮符号化された動画データ列の規則をいう。Ｈ．２６４の場合、シンタックス要素として、具体的には、ヘッダ情報、動きベクトル、変換係数などが設定されている。

図３は、マクロブロックの動きベクトル設定例を示す説明図である。上述したように、Ｈ．２６４の場合、マクロブロック１０１ごとにシンタックス要素が設定されている。したがって、図３のように、マクロブロック１０１のマクロブロック・サイズが８×１６画素であれば、マクロブロックごとにそれぞれシンタックス要素として動きベクトルが設定されている。

なお、マクロブロック１０１に設定されているシンタックス要素は、一様ではなくブロックごとに異なる。このとき、マクロブロックのシンタックス要素としてどのような情報が設定されているかに応じて異なるタイプのマクロブロック１０１が生成される。具体的には、動きベクトルが設定されたブロック（以下、「動きベクトルブロック」という）、動きベクトルをもたず、連続する画像フレームとの差分値（以下、「ｒｅｓｉｕａｌ成分」という）のみが設定されたイントラブロック、動きベクトルや差分値など連続する画像フレームとの相関性をあらわす情報をもたないスキップマクロブロックなどがある。

動きベクトルブロックは、動きベクトルを用いて対応するマクロブロックの補間フレームを生成する。また、イントラブロックは、ｒｅｓｉｕａｌ成分のみ、もしくは周辺ブロックから動きを予測して対応するマクロブロックの補間フレームを生成する。スキップマクロブロックは、周辺ブロックに設定されている動きベクトルから動きを予想して対応するマクロブロックの補間フレームを生成する。

ここで注意しなければならないのが、動きベクトルブロックに設定されている動きベクトルである。この動きベクトルは、連続する画像フレームの動きをあらわすベクトルであるが、動画データのビットレートを少なくするために実際の動きベクトルと異なるベクトルが設定されている場合がある。

したがって、本実施の形態では、動きベクトルが設定されている動きベクトルブロックのうち、連続する画像フレームの動きを正しくあらわしているベクトルが設定されているマクロブロックのみを選択し、これら選択されたマクロブロックに設定されている動きベクトルを用いて補間フレームを生成する。

（画像処理装置の機能的構成）
まず、本発明の実施の形態にかかる画像処理装置の機能的構成を説明する。図４は、本実施の形態にかかる画像処理装置の機能的構成を示すブロック図である。本実施の形態では、画像処理装置４００は、Ｈ．２６４によって符号化された動画データを取得し、この動画データを復号して得られた情報から連続する画像フレームを生成して、動画として再生させる。したがって、画像処理装置４００は、図４のように、抽出部４０１と、判断部４０２と、採用部４０３と、選択部４０４と、検出部４０５とを含んで構成されている。

画像処理装置４００は、Ｈ．２６４によって圧縮された動画データ（圧縮動画データ）を取得して、再生用の画像を生成するための処理をおこなう。このとき画像処理装置４００による圧縮動画データの取得の手法としては、放送波や通信網を介して配信された圧縮動画データをダウンロードしてもよいし、磁気ディスクや光ディスクに格納された圧縮動画データをドライブによって読み出してもよい。

抽出部４０１は、取得した動画データを構成する画像フレーム１００を分割するマクロブロックの中から、シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のマクロブロックと同一の動きベクトルが設定されているマクロブロックを抽出する。隣接するブロックのうち、何個以上のブロックの動きベクトルが同一であれば、該当するマクロブロックを抽出するかは、適宜設定することができる。たとえば、隣接するすべてのブロック（上下、左右、斜め）の動きベクトルが同一である場合に抽出してもよいし、隣接するマクロブロックのうち、６ブロック以上の動きベクトルが同一である場合に抽出してもよい。

また、抽出部４０１によって抽出されたマクロブロックを特に注目ブロックとする。なお、注目ブロックの抽出処理は、画像フレーム１００を最小のマクロブロック・サイズ（４×４画素）ごとが好ましい。このように最小単位ごとに抽出処理をおこなうことにより、注目ブロックの見落としを防ぐことができる。

図５は、マクロブロックの抽出・選択処理を示す説明図である。図５のように、ある画像フレーム１００は、シンタックス要素を参照するとそれぞれ、動きベクトルブロック（矢印）、イントラマクロブロック（Ｉｎｔｒａ）、スキップマクロブロック（無印）など、様々なブロックによって構成さていることがわかる。

上述したように抽出部４０１では、動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているマクロブロックを抽出している。図５の画像フレーム１００の場合には、上述の条件を満たした動きベクトルブロックの中からマクロブロック５０１が抽出される。しかしながら、抽出部４０１によって抽出した時点では、マクロブロックに設定されている動きベクトルは、画像フレーム１００の連続する次の画像フレームの動きを正しくあらわしているとは確定できない。したがって、つぎに、選択したマクロブロック５０１に設定されている動きベクトルが正しい動きをあらわしているかを判断する処理をおこなう。

判断部４０２は、抽出部４０１によって抽出したマクロブロック５０１のシンタックス要素に含まれている情報に応じて、マクロブロック５０１に設定されている動きベクトルの信頼性を判断する。動きベクトルの信頼性が高ければ、抽出部４０１によって抽出されたマクロブロック５０１に設定されている動きベクトルが動画データの動きを正しくあらわしており、後述する補正フレームの生成に利用することができる。

判断部４０２では、マクロブロック５０１に含まれているシンタックス要素のうち、動きベクトルに関する情報以外の情報を利用して、動きベクトルの信頼性を判断する。本実施の形態では、下記の４つの要素を判断基準として利用する。

・マクロブロックタイプのサイズ
・ＣＢＰの値
・イントラブロックか否か
・参照フレームナンバー

したがって、判断部４０２は、マクロブロック５０１のシンタックス要素のマクロブロックタイプが所定のサイズ以上であれば動きベクトルの信頼度が高いと判断する。これは、４×４画素など比較的小さなマクロブロックは、異なる動きのオブジェクトの境界部分や、人物などが動作し、変形している場合が多いため、設定されている動きベクトルも正しい動きをあらわしておらず、信頼性が低いためである。

また、判断部４０２は、マクロブロック５０１にシンタックス要素として参照フレームとの差分値が含まれていなければ動きベクトルの信頼度が高いと判断してもよい。すなわち参照フレームとの差分値をあらわすｒｅｓｉｕａｌ成分が含まれているマクロブロックは、信頼性が低いと判断する。また、動きベクトルを含まず、ｒｅｓｉｕａｌ成分を含むようなイントラブロックも信頼度が低いと判断されるため、結果として注目ブロックの候補から除外される。

なお、Ｈ．２６４の場合は、特に、マクロブロックにｒｅｓｉｕａｌ成分が含まれているか否かは、８×８画素のマクロブロックごとに割り当てられているＣＢＰ（Ｃｏｄｅ Ｂｌｏｃｋ Ｐａｔｔｅｒｎ）によって判断する。ＣＢＰは、対象となる８×８画素のマクロブロックにｒｅｓｉｕａｌ成分が含まれている場合に該当ビットがたつようになっている。

また、判断部４０２は、マクロブロック５０１のシンタックス要素として、画像フレーム１００と連続する所定枚数以内の画像フレームが参照フレームに設定されていれば信頼度が高いと判断する。すなわち、画像フレーム１００から２枚目前や３枚目前の画像フレームを参照フレームに設定している場合には、動きベクトルの信頼性は低いと判断する。マクロブロック５０１のシンタックス要素として、所定枚数以内の参照フレームが設定されていれば信頼度が高いと判断する。

判断部４０２では、以上説明した判断基準のいずれかを設定してもよいし、選択した判断基準を設定してもよいし、すべての判断基準を設定してもよい。そして、上述のようにして設定された判断基準を満たすマクロブロックに設定されている動きベクトルが、信頼性が高いと判断される。

採用部４０３は、判断部４０２によって動きベクトルの信頼性が高いと判断されたマクロブロック５０１を注目ブロックとし、この注目ブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する。補間フレームとは、動画データから取得した各画像フレームの中間画像である。動画データから取得した画像フレームの間に補間フレームが生成されることによって、単位時間あたりのコマ数が２倍になり、動画データに画像フレーム数が少なくても、滑らかな動画を再生させることができる。

また、画像処理装置４００は、上述したように、動きベクトルの信頼性の高い注目ブロックが設定されると、さらに、注目ブロックと同じ動きベクトルが設定されている他のマクロブロックも、正しい動きベクトルが設定されているとして、補間フレームの生成に利用する。

選択部４０４は、画像フレーム１００を分割するマクロブロックの中から、注目ブロックと同一の動きベクトルが設定されている他のマクロブロックを選択する。選択部４０４によって他のマクロブロック５０２（網掛けブロック）が選択されると、採用部４０３は、マクロブロック５０２に設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する。

なお、選択部４０４における選択処理が、上述したような、動きベクトルを基準として、様々な条件を設定してもよい。たとえば、選択部４０４は、予め設定されたマクロブロックタイプよりも小さいマクロブロック５０５を選択対象から除いてもよい。これは、マクロブロック５０１の動きベクトルの信頼性の判断基準についての説明でも述べたように、異なる動きのオブジェクトの境界部分や、人物などが動作し、変形している場合が多いためである。

また、選択部４０４は、注目ブロック（マクロブロック５０１）と同一の動きベクトルが設定されている他のブロックから、注目ブロック（マクロブロック５０１）と同一の動きベクトルが設定されているブロックが一つ以上隣接しているブロックを選択してもよい。これは、注目ブロック５０１と同一の動きベクトルが設定されていたとしても、他の動きベクトルが設定されたマクロブロックに囲まれているようなマクロブロックは動きベクトルの信頼性が低い。したがって、図５の画像フレーム１００の動きベクトルブロック５０４も、注目ブロック５０１と同一の動きベクトルが設定されているが、選択対象から除外される。

また、選択部４０４は、注目ブロック（マクロブロック５０１）の信頼性判断と同様に、シンタックス要素として参照フレームとの差分値が含まれてないブロックを選択するようにしてもよい。この選択基準を利用すると、図５の画像フレーム１００の場合、動きベクトルブロック５０３は、ＣＢＰ≠０であったため、マクロブロック５０１と同一の動きベクトルが設定されていても、選択対象から除外される。

以上説明した構成が、本実施の形態にかかる画像処理装置４００の基本構成となる。画像処理装置４００は、上述した判断部４０２の判断基準を詳細に設定することによって選択部４０３による選択処理の内容をさらに詳細に設定することによって、連続する画像フレームの動きを正しくあらわしている動きベクトルが設定された動きベクトルブロックをより高精度に選択することができる。

本実施の形態にかかる画像処理装置１００は、上述したような選択条件を適宜設定することによって正しい動きベクトルが設定されているマクロブロックのみを選択することができる。上述したように、抽出部４０２の抽出処理や、選択部４０３の選択処理は、いずれも単純判断処理に基づいておこなわれているため、画像処理装置４００への負担も少ない。

また、抽出したマクロブロックの信頼性の判断基準を設定する際に、画像処理装置４００が取得した動画データのビットレートを参照してもよい。具体的には、たとえば、図４のように、画像フレーム１００の動画データ取得時のビットレートを検出する検出部４０５を備える。そして、判断部４０２は、検出部４０５によって検出されたビットレートに応じてマクロブロックに設定されている動きベクトルの信頼性の判断基準を変更する。検出部４０５を備えることによって、動画データのビットレートに応じて自動的に信頼性の高い動きベクトルを採用することができる。

（画像処理装置の処理の内容）
つぎに、上述した画像処理装置４００の処理の内容について説明する。図６は、本実施の形態にかかる画像処理装置の処理の内容を示すフローチャートである。図６のフローチャートにおいて、まず、抽出部４０１において、隣接ブロックの動きベクトルと同じ動きベクトルが設定されているブロックを抽出する（ステップＳ６０１）。

つぎに、判断部４０２によって、ステップＳ６０１によって抽出したブロックに設定されている動きベクトルの信頼性を判断する（ステップＳ６０２）。そして、ステップＳ６０２による判断結果から動きベクトルの信頼性が高いか否かを判断する（ステップＳ６０３）。判断部４０２では、信頼性の判断をおこなうために、上述したように、マクロブロックタイプのサイズ、ＣＢＰの値、イントラブロックか否か、参照フレームナンバーなどを参照する。

ステップＳ６０３において、動きベクトルの信頼性が高くないと判断された場合には（ステップＳ６０３：Ｎｏ）、ステップＳ６０１の処理に戻り、抽出部４０１において、新たなブロックを抽出する。一方、動きベクトルの信頼性が高いと判断された場合には（ステップＳ６０３：Ｙｅｓ）、このブロックに設定されている動きベクトルが正しい動きをあらわしているため、採用部４０３は、抽出したブロックの動きベクトルを補間フレーム生成用の動きベクトルに採用する（ステップＳ６０４）。

その後、さらに、画像フレーム１００のマクロブロックの中から、信頼度の高い動きベクトルが設定されているブロックを選択する処理に移行する。まず、選択部４０４によって、ステップＳ６０４において採用した動きベクトルと同じ動きベクトルが設定されたブロックを選択する（ステップＳ６０５）。そして、採用部４０３は、ステップＳ６０５によって選択したブロックの動きベクトルを補間フレーム生成用の動きベクトルに採用し（ステップＳ６０６）、動きベクトル選択のための一連の処理を終了する。なお、ステップＳ６０５において、ブロックを選択する際には、上述したように、注目ブロックの動きベクトルと同一か否かと、他の条件（ブロックのサイズ、他のブロックとの隣接条件など）を加えてもよい。

以上説明したステップＳ６０１において、上述した選択部４０４に設定された選択条件を満たすようなマクロブロックが選択された場合には、図５の画像フレーム１００のように、注目ブロック５０１と、動きベクトルブロック５０２とに設定された動きベクトルが採用される。

また、画像処理装置４００は、他の実施の形態として、上述した図６のフローチャートとは異なる手順によって動きベクトルを採用してもよい。他の実施の形態の場合、まず、選択部４０４は、画像フレーム１００を分割するブロックの中から、シンタックス要素に基づいて所定の基準を満たすブロックを選択する。この所定の基準とは、上述したようなマクロブロックタイプのサイズ、ＣＢＰの値、イントラブロックか否か、参照フレームナンバーなどであり、これらの基準を満たせば、信頼性の高い動きベクトルが設定されていると判断する。

つぎに、抽出部４０１によって、所定の基準によって選択されたブロックのうち、シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているマクロブロックを抽出する。ここで、抽出されたブロックが、マクロブロック５０１すなわち注目ブロックとなる。

そして、図６のフローチャートのステップＳ６０４と同様に、採用部４０３は、抽出部４０１によって抽出されたマクロブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する。さらに、採用部４０３は、選択部４０４によって選択されたマクロブロックの中から、注目ブロック（マクロブロック５０１）と同じ動きベクトルが設定されている他のマクロブロックの動きベクトルも補間フレーム生成用の動きベクトルに採用してもよい。図６のフローチャートの場合には、ステップＳ６０５において、注目ブロック（マクロブロック５０１）と同じ動きベクトルが設定されている他のマクロブロックを選択する際にも、各種の選択基準を設けていたが、他の実施の形態の場合は、最初の選択部４０４の選択処理の際に、上述の選択基準を満たしたマクロブロックのみが選択されるため、ここでは動きベクトルのみを参照してマクロブロックを選択すればよい。

このように、画像処理装置４００では、上記実施の形態および他の実施の形態のように容易な処理のみを用いて、補間フレームを生成するために適切な動きベクトルを採用することができる。したがって、動画データの画像フレーム数が少なくても、単位時間あたりのコマ数を増やし、滑らかな動画として再生させることができる。

以下に、この発明の実施例について説明する。本実施例では、実施の形態によって説明した画像処理装置４００の機能を携帯端末装置に適用し、ワンセグ放送を受信した場合であっても滑らかな動画として再生させる。以下、携帯端末装置の構成と、具体的な処理の内容とについて順に説明する。

（携帯端末装置の構成）
まず、携帯端末装置の構成について説明する。図７は、携帯端末装置の構成を示すブロック図である。図７のように、携帯端末装置７００は、受信部７１０と、画像処理部７２０とによって構成されている。なお、携帯端末装置７００は、アナログ放送、デジタル放送の受信機能や、通話機能、ネットワーク接続機能を備えていてもよいが、ここでは、地上デジタル放送のなかのワンセグメント（ワンセグ）放送を受信する場合について説明する。

受信部７１０は、放送局から配信されたワンセグ放送を受信する。詳細には、チューナ７１１と、復調部７１２とを備え、受信したデジタル放送波を、圧縮動画データに復調して画像処理部７２０に出力する。

画像処理部７２０は、受信部７１０から入力された圧縮動画データを復号し、動画を再生させる。なお、正確には、画像処理部７２０には、不図示のディスプレイが接続されており、画像処理部７２０からディスプレイに連続する画像フレームの信号が出力されることによって動画が再生される。

画像処理部７２０は、デマルチプレクサ部７２１と、シンタックスデコード部７２２と、残差データデコード部７２３と、ＭＣデコード部７２４と、参照フレームバッファメモリ７２５と、補間フレーム生成部７２６と、フレームバッファメモリ７２７と、信号出力部７２８とを含んで構成される。

デマルチプレクサ部７２１は、受信部７１０から入力された圧縮動画データをシンタックス要素と、動画データとに分離する。分離されたシンタックス要素は、シンタックスデコード部７２２に出力される。一方、動画データは、参照フレームバッファメモリ７２５と、補間フレーム生成部７２６とに出力される。

シンタックスデコード部７２２では、シンタックス要素がデコードされ、シンタックス要素の内容に応じて残差データデコード部７２３と、ＭＣデコード部７２４と、補間フレーム生成部７２６に出力される。残差データデコード部７２３と、ＭＣデコード部７２４とでは、デコードされた残差データと、ＭＣデータとがフレームバッファメモリ７２７に出力される。参照フレームバッファメモリ７２５には、後述する補間フレームを生成する際の参照フレームが格納される。

補間フレーム生成部７２６は、デマルチプレクサ部７２１から入力された動画データからシンタックス要素を参照して補間フレームを再生する。フレームバッファメモリ７２７は補間フレーム生成部７２６によって生成された補間フレームと、動画データを構成する画像フレームとを連続した画像フレームとして格納する。信号出力部７２８は、不図示のディスプレイとのインターフェイスとして機能し、フレームバッファメモリ７２７に格納された連続した画像フレームの信号を順次ディスプレイに出力する。

本実施例にかかる携帯端末装置７００は、上述した各構成のうち補間フレーム生成部７２６による補間フレームの生成処理が特徴となる。したがって、つぎに、補間フレーム生成部７２６について詳細に説明する。

（補間フレーム生成部の詳細な構成）
図８は、補間フレーム生成部の詳細な構成を示すブロック図である。図８のように、補間フレーム生成部７２６は、動きベクトル選択部８１０と、ブロックマッチング部８２０と、補間画像生成部８３０とを含んで構成されている。まず、補間フレーム生成部７２６における補間フレーム生成処理の全体の処理の流れについて説明する。

図９は、フレーム補間処理の手順を示すフローチャートである。図９のフローチャートにおいて、まず、動きベクトル選択部８１０において、補間フレームを生成する際に利用する動きベクトルを選択する（ステップＳ９０１）。このステップＳ９０１の処理については、詳しく後述する。

そして、ブロックマッチング部８２０によって、ステップＳ９０１によって選択された動きベクトルが設定されているマクロブロックごとにブロックマッチングをおこなう（ステップＳ９０２）。ブロックマッチングとは、現在処理中の画像フレーム（カレント画像フレーム）と、参照画像フレームとの対応位置を特定する処理である。このブロックマッチングによってカレント画像と参照画像フレームと基準位置を揃える。

最後に、補間画像生成部８３０によって、ブロックマッチングされたカレント画像フレームと、参照画像フレームとから補間画像を生成し（ステップＳ９０３）、一連の処理を終了する。具体的には、ステップＳ９０２によってブロックマッチングされた基準位置からステップＳ９０１によって選択された動きベクトルを１／２にしたベクトルによってカレント画像フレームと、参照画像フレームとの中間の動作をあらわす画像を生成する。この生成された画像が補間画像（補間フレーム）となる。

以上説明した、動きベクトル選択部８１０の処理について説明する。図８のように、動きベクトル選択部８１０は、ビットレート検出部８１１と、シンタックス要素取得部８１２と、採用ブロック選択部８１３とを含んで構成される。ビットレート検出部８１１は、デマルチプレクサ部７２１によって受信された動画データのデータ量を１フレームごとに確認し、ビットレートを判断する。このビットレートの状況によって採用ブロック選択部８１３の選択基準を変化させる。

シンタックス要素取得部８１２は、シンタックスデコード部７２２から入力されたシンタックス要素を取得し、マクロブロックレイヤー以下のシンタックス要素を取り出す。具体的な例としては、各マクロブロックのマクロブロックタイプ、ＣＢＰ、使用する参照フレームナンバー、予測ベクトルに対する動きベクトルデータ（このデータが０ならば周辺ブロックと同じ動きを示していることが多い）、ｃｏｅｆｆ＿ｔｏｋｅｎ（ＣＢＰのビットが１の場合に得られ、ｒｅｓｉｕａｌ成分の多さの目安になる値）などが挙げられる。

採用ブロック選択部８１３は、ビットレート検出部８１１とシンタックス要素取得部８１２で得られた情報に基づいて、高い信頼性の動きベクトルとその動きベクトルが設定されているマクロブロックを選択し、選択結果をブロックマッチング部８２０に出力する。

（ブロック選択処理の手順）
つぎに、以上説明した動きベクトル選択部８１０のブロック選択処理の手順について、説明する。図１０は、採用ブロック選択部におけるブロック選択処理を示すフローチャートである。以下、説明する処理は画像フレーム単位におこなわれる。図１０のフローチャートにおいて、まず、フレーム内のすべてのマクロブロックについて順番に状態データを初期化する（ステップＳ１００１）。状態データとは、該当するマクロブロックが、どのようなブロックであるか、また、動きベクトルを採用するブロックであるかをあらわすデータである。

そして、処理中の画像フレームにおいてすべてのマクロブロックをチェックしたか否かを判断する（ステップＳ１００２）。ここで、未だにチェックしていないマクロブロックがある場合には（ステップＳ１００２：Ｎｏ）、ステップＳ１００１の処理に戻り、すべてのマクロブロックの状態データを初期化するまでステップＳ１００１〜Ｓ１００２の処理を繰り返す。

ステップＳ１００２において、すべてのマクロブロックをチェックしたと判断すると（ステップＳ１００２：Ｙｅｓ）、フレーム内のすべてのマクロブロックについて順番にスライスタイプがＰピクチャか否かを判断する（ステップＳ１００３）。

ステップＳ１００３において、処理中の画像フレームのスライスタイプがＰピクチャであった場合（ステップＳ１００３：Ｙｅｓ）、さらに、チェック中のマクロブロックのマクロブロックタイプが１６×１６画素もしくはスキップブロックタイプか否かを判断する（ステップＳ１００４）。そして、チェック中のマクロブロックが１６×１６画素もしくはスキップブロックタイプであれば（ステップＳ１００４：Ｙｅｓ）、さらに、ＣＢＰ＝０か否かを判断する（ステップＳ１００５）。

ステップＳ１００５において、チェック中のマクロブロックがＣＢＰ＝０であれば（ステップＳ１００５：Ｙｅｓ）、処理中の画像フレームのスライスタイプがＰピクチャであり、チェック中のマクロブロックが１６×１６画素もしくはスキップブロックタイプであり、なおかつ、ＣＢＰ＝０という条件を満たすことになる（ステップＳ１００３，Ｓ１００４，Ｓ１００５：Ｙｅｓ）。以上の条件を満たすマクロブロックから注目ブロックを抽出するための処理に移行する。

なお、ステップＳ１００３〜Ｓ１００５のうち、１つでも条件を満たさなければ（ステップＳ１００３ｏｒＳ１００４ｏｒＳ１００５：Ｎｏ）、チェック中のマクロブロックの動きベクトルは補間フレームの生成には不適切なために選択されず、ステップＳ１０１１の処理に移行する。

ステップＳ１００６以降の説明に戻ると、まず、チェック中のマクロブロック周辺の８ブロックをチェックする（ステップＳ１００６）。そして、チェックした周辺ブロックのマクロブロックタイプが１６×１６画素もしくはスキップブロックタイプか否かを判断する（ステップＳ１００７）。さらに、チェック中の周辺ブロックの参照フレームが１フレーム前以内か否かを判断する（ステップＳ１００８）。

このステップＳ１００７およびＳ１００８においても、双方の条件を満たす場合、すなわち、チェックした周辺ブロックのマクロブロックタイプが１６×１６画素もしくはスキップブロックタイプであり、なおかつ、参照フレームが１フレーム前以内である場合には（ステップＳ１００７、Ｓ１００８：Ｙｅｓ）、ステップＳ１００９に移行し、周辺８ブロックの他のブロックも同様の条件を備えているかを判断する（ステップＳ１００９：Ｎｏのループ）。

なお、ステップＳ１００７、Ｓ１００８の１つでも条件を満たさなければ（ステップＳ１００７ｏｒＳ１００８：Ｎｏ）、チェック中のマクロブロックの動きベクトルは補間フレームの生成には不適切なために選択されず、ステップＳ１０１１の処理に移行する。

ステップＳ１００９において、周辺ブロックのチェックが終了した場合（ステップＳ１００９：Ｙｅｓ）、チェック対象となっているマクロブロックは、周辺ブロックもすべて条件を満たすため、マクロブロックの状態データを有効フラグに設定する（ステップＳ１０１０）。すなわち、有効フラグが設定されたマクロブロックに設定されている動きベクトルが補間フレーム生成に利用される選択された動きベクトルとなる。

そして、処理中の画像フレームにおいてすべてのマクロブロックをチェックしたか否かを判断する（ステップＳ１０１１）。ここで、未だにチェックしていないマクロブロックがある場合には（ステップＳ１０１１：Ｎｏ）、ステップＳ１００３の処理に戻り、他に上述した条件を満たすマクロブロックを選択する処理を繰り返す。すべてのマクロブロックのチェックが終了すると（ステップＳ１０１１：Ｙｅｓ）、一連の処理を終了する。

（ビットレートに応じたマクロブロックの選択）
つぎに、ビットレートに応じたマクロブロックの選択基準の変更内容について説明する。図１１は、ビットレートに応じたマクロブロックの選択基準の一例を示す説明図である。なお、図１１に示した選択条件は、あくまで一例である。たとえば、図１１のように、ビットレート検出部８１１では、所定の基準に基づいて、受信した動画データのビットレートを低・中・高の３段階に判別する。

そして、採用ブロック選択部８１３では、ケース１：低ビットレートの場合、ケース２：中ビットレートの場合、ケース３：高ビットレートの場合とそれぞれ選択条件を設定しておく。そして、ビットレート検出部８１１から入力されたビットレートの判別に応じて、設定した選択条件を用いて図１０にて上述したようなブロック選択処理をおこなう。このように、ビットレートの変化に応じて採用可能となるマクロブロック・サイズや、ｒｅｓｉｕａｌ成分の許容量を変化させることにより、より正確な動きベクトルを選択することができる。

以上説明したように、本発明にかかる画像処理装置を携帯端末装置７００に適用することによって、容易な処理を用いて、最適な補間フレームを生成することができる。したがって、ワンセグ放送のように、動画データの画像フレーム数が少ない場合であっても、単位時間あたりのコマ数を増やし、滑らかな動画として再生させることができる。

なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

Claims (14)

1. フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理装置において、
   フレームを分割するブロックの中から、シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているブロックを抽出する抽出手段と、
   前記抽出手段によって抽出したブロックのシンタックス要素に含まれている情報に応じて、前記ブロックに設定されている動きベクトルの信頼性を判断する判断手段と、
   前記判断手段によって動きベクトルの信頼性が高いと判断されたブロックを注目ブロックとし、当該注目ブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する採用手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判断手段は、前記抽出手段によって抽出されたブロックのシンタックス要素のマクロブロックタイプが所定のサイズ以上であれば前記動きベクトルの信頼度が高いと判断することを特徴とする請求項１に記載の画像処理装置。
3. 前記判断手段は、前記抽出手段によって抽出されたブロックのシンタックス要素として参照フレームとの差分値が含まれていなければ前記動きベクトルの信頼度が高いと判断することを特徴とする請求項１に記載の画像処理装置。
4. 前記判断手段は、前記抽出手段によって抽出されたブロックのシンタックス要素として、前記画像フレームと連続する所定枚数以内の画像フレームが参照フレームに設定されていれば信頼度が高いと判断することを特徴とする請求項１に記載の画像処理装置。
5. 前記フレームを分割するブロックの中から、前記注目ブロックと同一の動きベクトルが設定されている他のブロックを選択する選択手段を備え、
   前記採用手段は、前記選択手段によって選択された他のブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記選択手段は、予め設定されたマクロブロックタイプよりも小さいブロックを選択対象から除くことを特徴とする請求項５に記載の画像処理装置。
7. 前記選択手段は、前記抽出手段によって抽出された注目ブロックと同一の動きベクトルが設定されている他のブロックから、前記注目ブロックと同一の動きベクトルが設定されているブロックが一つ以上隣接しているブロックを選択することを特徴とする請求項５に記載の画像処理装置。
8. 前記選択手段は、参照フレームとの差分が含まれているブロック以外のブロックを選択対象とすることを特徴とする請求項５に記載の画像処理装置。
9. 前記フレームのデータ取得時のビットレートを検出する検出手段を備え、
   前記判断手段は、前記検出手段によって検出されたビットレートに応じて、前記ブロックに設定されている動きベクトルの信頼性の判断基準を変更することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
10. フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理装置において、
    前記フレームを分割するブロックの中から、シンタックス要素に基づいて所定の基準を満たすブロックを選択する選択手段と、
    前記選択手段によって選択されたブロックのうち、前記シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているブロックを抽出する抽出手段と、
    前記抽出手段によって抽出されたブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する採用手段と、
    を備えることを特徴とする画像処理装置。
11. フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理方法において、
    フレームを分割するブロックの中から、シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているブロックを抽出する抽出工程と、
    前記抽出工程によって抽出したブロックのシンタックス要素に含まれている情報に応じて、前記ブロックに設定されている動きベクトルの信頼性を判断する判断工程と、
    前記判断工程によって動きベクトルの信頼性が高いと判断されたブロックを注目ブロックとし、当該注目ブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する採用工程と、
    を含むことを特徴とする画像処理方法。
12. フレーム単位の連続した画像と、フレームごとのシンタックス要素とを用いて動画を表示させる画像処理方法において、
    前記フレームを分割するブロックの中から、シンタックス要素に基づいて所定の基準を満たすブロックを選択する選択工程と、
    前記選択工程によって選択されたブロックのうち、前記シンタックス要素に含まれている動きベクトルを参照して、隣接する所定数以上のブロックと同一の動きベクトルが設定されているブロックを抽出する抽出工程と、
    前記抽出工程によって抽出されたブロックに設定されている動きベクトルを補間フレーム生成用の動きベクトルに採用する採用工程と、
    を含むことを特徴とする画像処理方法。
13. 請求項１１または１２に記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。
14. 請求項１３に記載の画像処理プログラムをコンピュータに読み取り可能に記録したことを特徴とする記録媒体。

Images