JP4983317B2 - フレームレート変換システム，フレームレート変換方法，受信装置 - Google Patents

Description

本発明は、動きベクトルにより符号化された映像信号を復号する装置と、その復号された映像信号を該映像信号のフレームレートより高いフレームレートの信号に変換しハイフレームレート化して表示する装置とが分離されている場合に、動きベクトルを用いたハイフレームレート化を効率的に行なえるようにしたシステム，方法及び受信装置に関する。

ＭＰＥＧ−２などのように動きベクトルによる符号化方式を用いた圧縮映像信号を復号して映像信号を取り出す復号部が、ＤＶＤプレーヤ，デジタル放送チューナ，セットトップボックスなどに搭載されている。圧縮映像信号は、各フレーム自体を圧縮するフレーム内符号化されたフレームと、参照する他のフレームからの差分を圧縮するフレーム間符号化されたフレームからなる。フレーム間符号化で動き予測補償を用いて差分をとる際には、参照する他のフレーム内の映像ブロックが移動する先を動きベクトルで予測した画像を生成し、その予測画像との差分をとることによって効率的な符号化を行なっている。

一方、動画ボケを低減したり、動画像表現を滑らかにしたりする目的で、映像のフレーム間に補間フレームを生成してフレームレート変換を行なうフレームレート変換部が、テレビジョン受像機などに搭載されつつある。補間フレームを生成する方法自体は複数存在するが、補間フレームの前後にあるフレーム内の映像ブロック間の動きベクトルを用いて、それらの中間的な映像である補間フレーム画像を予測する方法では、比較的精度の高い補間フレームを生成できる。

しかし、動きベクトルを検出するには、二つのフレーム内の各映像ブロック間で同一のものが存在するかの確認を様々な位置の組み合わせで行なうために多大な計算コストを要する。しかも、フレームレート変換した映像をリアルタイムに表示する場合には、変換後の次のフレームを表示するまでの限られた時間内に動きベクトルを検出する必要があるため、さらに高い計算能力を必要とする。そこで、従来、上記の復号処理において得られる動きベクトルをフレームレート変換にも用いることにより、計算コストを大幅に減少させ、効率的にフレームレート変換を行なえるようにしたフレームレート変換装置が提案されている（特許文献１）。

このフレームレート変換装置は、図１に示すように、復号部１００とフレームレート変換部１０１とを同一の表示装置（テレビジョン受像機など）内に設けたものであり、復号部１００から、内部バスなどを介して映像信号と動きベクトルとがフレームレート変換部１０１に送られる。

フレームレート変換部１０１では、映像信号が映像バッファ１０２に蓄積されるとともに、補間ベクトル生成部１０３により、補間フレームの前後のピクチャの予測に用いられた動きベクトルを用いて補間ベクトルが生成される。そして、補間フレーム生成部１０４により、補間フレームの前後のピクチャが映像バッファ１０２から読み出され、補間ベクトルを用いて補間フレームの時間的な位置における予測フレームが生成される。そして、セレクタ１０５により、映像バッファ１０２内のピクチャ（実フレーム）と、生成された補間フレームとが、フレームレートに合わせて選択して出力される。

特開２００３−３３３５４０号公報（段落番号００１０〜１１、図１）

ところで、上記特許文献１に記載のフレームレート変換装置は、復号部とフレームレート変換部と同一の装置内に備えることを前提としたものである。しかしながら、実際の製品では、復号部とフレームレート変換部とは同一の装置に搭載されるとは限らない。なぜなら、フレームレート変換部は、表示装置において表示しうるフレームレートと関係しているために表示装置に備えられる可能性が高く、復号部は、放送波や記録メディアの映像圧縮方法に依存するために、再生装置に備えられる可能性が高く、全ての再生装置に表示装置が付随しているとは限らないためである。

本発明は、上述の点に鑑み、動きベクトルにより符号化された映像信号を復号する再生装置と、その復号された映像信号をハイフレームレート化して表示する表示装置とが分離されている場合に、表示装置で、再生装置での復号処理によって得られる動きベクトルを利用してフレームレート変換を行えるようにすることを課題とする。

上記課題を解決するために、本発明に係るフレームレート変換システムは、送信装置と受信装置とから成るフレームレート変換システムにおいて、
この送信装置は、
動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳するエンコード部とを備え、
このエンコード部によってこの参照制御情報を重畳された映像信号を出力し、
この受信装置は、
この参照制御情報の伝送の可否及び／または伝送量を指示する制御信号をこの送信装置に送る制御部と、
この送信装置から入力した映像信号のブランキング期間から、この参照制御情報を分離するデコード部と、
このデコード部によって分離されたこの参照制御情報を用いて、この入力した映像信号のフレーム間の補間フレームを生成することにより、この入力した映像信号をハイフレームレート化するフレームレート変換部と
を備えることを特徴とする。

このフレームレート変換システムでは、復号部を備えた送信装置内において、復号された映像信号のブランキング期間に、復号部から出力される少なくとも動きベクトルを含む参照制御情報を重畳する処理が行われる。そして、この参照制御情報を重畳された映像信号が、送信装置から出力される。

受信装置では、この送信装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する処理が行われる。そして、この分離された参照制御情報を用いて、入力した映像信号のフレーム間の補間フレームを生成することにより、入力した映像信号がハイフレームレート化される。

したがって、復号部を備えた再生装置とフレームレート変換部を備えた表示装置とが分離されている場合に本発明を適用（送信装置，受信装置をそれぞれ再生装置，表示装置に適用）すれば、表示装置で、フレームレート変換後の次のフレームを表示するまでの限られた時間内に動きベクトル検出を行なうための高い処理能力を持つ検出ユニットや、その検出処理のための電力消費を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができるようになる。

また、再生装置で補間フレームを生成しないので、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要もなくなる。

また、表示装置で圧縮映像信号の復号を行わないので、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができる。
また、送信装置から受信装置に映像信号などを伝送するだけでなく、逆に受信装置内の制御部から送信装置に制御信号を送り、参照制御情報の伝送の可否を指示したり、その伝送量を指示するので、本発明を適用した機器同士の間だけで参照制御情報を伝送したり、動的に伝送量を制御することが可能となる。

次に、本発明に係るフレームレート変換方法は、動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた送信装置から出力された映像信号を入力した受信装置が、この入力した映像信号をハイフレームレート化するフレームレート変換方法において、
この送信装置が、この復号部によって復号された映像信号のブランキング期間に、この復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、
この受信装置が、前記参照制御情報の伝送の可否及び／または伝送量を指示する制御信号を前記送信装置に送る第２のステップと、
この受信装置が、この送信装置から入力した映像信号のブランキング期間から、この参照制御情報を分離する第３のステップと、
この受信装置が、この第３のステップで分離したこの参照制御情報を用いて、この入力した映像信号のフレーム間の補間フレームを生成することにより、この入力した映像信号をハイフレームレート化する第４のステップと
を有することを特徴とする。

このフレームレート変換方法は、前述の本発明に係るフレームレート変換方法システムによる一連の処理手順に該当するものであり、復号部を備えた再生装置とフレームレート変換部を備えた表示装置とが分離されている場合に、表示装置で、高い処理能力を持つ検出ユニット等を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができ、また、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要がなくなり、また、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができ、また、本発明を適用した機器同士の間だけで参照制御情報を伝送したり、動的に伝送量を制御することが可能となる。

次に、本発明に係る受信装置は、
動きベクトルによる符号化方式を用いた圧縮映像信号を復号した映像信号を送信する送信装置に、少なくとも動きベクトルを含む参照制御情報の伝送の可否及び／または伝送量を指示する制御信号を送る制御部と、
この送信装置から入力された映像信号のブランキング期間から、少なくとも動きベクトルを含む参照制御情報を分離するデコード部と、
このデコード部によって分離されたこの参照制御情報を用いて、この入力した映像信号のフレーム間の補間フレームを生成することにより、この入力した映像信号をハイフレームレート化するフレームレート変換部と
を備えたことを特徴とする。

この受信装置は、前述の本発明に係るフレームレート変換方法システムを構成する受信装置であり、前述の送信装置と協働させることにより、復号部を備えた再生装置とフレームレート変換部を備えた表示装置とが分離されている場合に、表示装置で、高い処理能力を持つ検出ユニット等を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができ、また、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要がなくなり、また、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができ、また、本発明を適用した機器同士の間だけで参照制御情報を伝送したり、動的に伝送量を制御することが可能となる。

本発明によれば、動きベクトルにより符号化された映像信号を復号する再生装置と、その復号された映像信号をハイフレームレート化して表示する表示装置とが分離されている場合に、表示装置で、高い処理能力を持つ検出ユニット等を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができるという効果や、再生装置と表示装置とをハイフレームレート映像に対応した高い伝送量のケーブルで接続する必要がなくなるという効果や、動きベクトルを用いた各種の符号化方式に対応した再生装置からの出力映像信号を表示装置に入力してハイフレームレート化することができるという効果や、本発明を適用した機器同士の間だけで参照制御情報を伝送したり、動的に伝送量を制御することが可能となるという効果が得られる。

本発明の実施の形態を説明する前に、他の構成例とその問題点について説明する。
ＤＶＤプレーヤなどの再生装置とテレビジョン受像機などの表示装置が分離されている場合、両者は、コンポジットケーブルなどのアナログ映像信号ケーブルや、ＨＤＭＩなどのデジタル映像信号ケーブルにより接続され、復号後の映像信号のみが伝送されている。そのため、再生装置と分離されている表示装置では、やはり、装置内部で動きベクトルを検出さざるを得なくなる。図２は、そうした表示装置におけるフレームレート変換部の構成を示すブロック図である。再生装置２００内の復号部２０１から、映像ケーブル２０２を介して、映像信号のみが表示装置２０３に送られる。

表示装置２０３では、映像信号が映像バッファ２０４に蓄積される。そして、動きベクトル検出部２０５により、フレームレート変換後の１フレーム分の時間内に、映像バッファ２０４内の映像信号から、補間フレームの前後にあるフレーム内の映像ブロック間の動きベクトルが検出される。そして、補間ベクトル生成部２０６により、その動きベクトルを用いて補間ベクトルが生成される。そして、補間フレーム生成部２０７により、補間フレームの前後のピクチャが映像バッファ２０４から読み出され、補間ベクトルを用いて補間フレームの時間的な位置における予測フレームが生成される。そして、セレクタ２０８により、映像バッファ２０４内のピクチャ（実フレーム）と、生成された補間フレームとが、フレームレートに合わせて選択して出力される。

このように、再生装置とは分離された表示装置で動きベクトルを用いてフレームレート変換を行う場合には、フレームレート変換後の次のフレームを表示するまでの限られた時間内に動きベクトル検出を行なう必要があるため、高い処理能力を持つ検出ユニットが必要な上に、その検出処理のための電力消費も必要となり、利用者は購入時も購入後も負担を強いられることになる。

逆に、再生装置でフレームレート変換も行なうようにすると、ハイフレームレート化されて元の映像よりも映像信号が増えるため、映像信号ケーブルを複数本使うなどする必要があるが、ケーブルのコスト増や、端子増による消費者の混乱が予想され好ましくない。

このように、復号部を備えた再生装置と、フレームレート変換部を備えた表示装置とが分離されている場合には、利用者がハイフレームレート映像を楽しむ可能性が制限されてしまっている。

以下、本発明の実施の形態を、図面を用いて説明する。図３は、本発明を適用したフレームレート変換システムの構成例を示すブロック図である。このフレームレート変換システムでは、送信装置の一例として、再生装置１（例えば、ＳＴＢ（セットトップボックス），光ディスクプレーヤ，デジタルチューナ，カメラ一体型ＶＴＲなど）と、受信装置の一例として、表示装置５（例えば、テレビジョン受像機，ディスプレイなど）とが、互いに分離されている。

再生装置１には、本発明に関連する回路として復号部２及びエンコード部３が設けられており、ＭＰＥＧの符号化アルゴリズムで符号化された圧縮映像信号が復号部２に供給される。復号部２は、ＭＰＥＧ規格のデコーダであり、その構成は周知であるので詳細説明は説明する。復号部２によって復号された映像信号は、エンコード部３に供給される。

また、復号部２内では、周知のように、量子化変換係数や、動きベクトルや、復号した各ピクチャの予測補償の形態（画像内予測（Ｉピクチャ），順方向予測（Ｐピクチャ），双方向予測（Ｂピクチャ）のうちのいずれであるかなど）を示す識別子や、復号したピクチャの表示順序を示す識別子が可変長復号化回路（図示略）によって復号されて逆量子化回路や動き補償回路（図示略）に供給されるが、このうちの、動きベクトルと、予測補償の形態を示す識別子と、復号した映像信号の表示順序を示す識別子とが、復号部２から参照制御情報としてエンコード部３に供給される。

エンコード部３は、供給される映像信号のブランキング期間に、この参照制御情報を重畳する処理を行う回路である。エンコード部３によってこの参照制御情報が重畳された映像信号は、再生装置１から出力され、着脱可能なコネクタ４ａ、４ｂに接続された映像ケーブル４を介して表示装置５に送られる。ちなみに、映像ケーブル４を用いる他には、無線伝送により参照制御情報が重畳された映像信号を再生装置１から表示装置５に送信することが考えられる。

表示装置５には、本発明に関連する回路として、デコード部６と、フレームレート変換部１２を構成する映像バッファ７，動きベクトルバッファ８，補間ベクトル生成部９，補間フレーム生成部１０及びセレクタ１１とが設けられている。

映像ケーブル４を介して表示装置５に入力した映像信号は、デコード部６に供給される。デコード部６は、供給される映像信号のブランキング期間から、前述の参照制御情報を分離する処理を行う回路である。

なお、再生装置１から表示装置５への映像信号の伝送形態は、コンポジット信号などのアナログ信号であってもよいし、デジタル信号であってもよい。アナログ映像信号の場合には、エンコード部３は、垂直帰線消去期間で文字放送などに用いられていないラインに参照制御情報を重畳し、映像ケーブル４として、現在一般的に用いられているコンポジット映像ケーブルなどを用い、デコード部６は、上記ラインから参照制御情報を分離するようにすればよい。

デジタル映像信号の伝送規格としては、非圧縮のデジタル映像信号を高品位に伝送するための規格であるＨＤＭＩ（High Definition Multimedia Interface）の利用が始まっている。再生装置１及び表示装置５がこのＨＤＭＩ規格に則って映像信号を入出力する機器である場合には、次に述べるようにして参照制御情報を重畳すればよい。

図４は、ＨＤＭＩ規格に則った機器の概要を示す図である。映像信号を送信する側の機器であるＨＤＭＩソース２１には、ＨＤＭＩトランスミッタ２２が設けられる。ＨＤＭＩトランスミッタ２２は、供給されるビデオ（映像信号），オーディオ／ＡＵＸ（Auxiliary），コントロール／ステータスの各信号を、３つのＴＭＤＳ（Transition Minimized Differential Signaling）チャンネル０〜２のシリアルデータにエンコードして出力するとともに、ビデオのピクセルクロックをＴＭＤＳクロックチャンネルから出力する。そして、これらのチャンネルのデータと、ディスプレイの固有情報（解像度など）を通知するためのＤＤＣ（Display Data Channel）のデータと、オプションであるＣＥＣ（Consumer Electronics Control）プロトコルの双方向制御用の制御信号とが、ＨＤＭＩソース２１から、１本のケーブル（ＨＤＭＩケーブル）で、映像信号を受信する側の機器であるＨＤＭＩシンク（Sink）２３に伝送される。

ＨＤＭＩシンク２３には、ＨＤＭＩレシーバ２４が設けられる。ＨＤＭＩレシーバ２４は、ＴＭＤＳクロックチャンネルで伝送されるピクセルクロックをリファレンスとして、ＴＭＤＳチャンネル０〜２のシリアルデータから元のビデオ，オーディオ／ＡＵＸ，コントロール／ステータスの各信号を復元する。

図５は、ＨＤＭＩにおける、ビデオフレーム中のオーディオ／ＡＵＸの伝送期間であるデータアイランド期間の例（アクティブビデオが７２０×４８０ピクセルの場合の例）を示す図である。各アクティブラインの１３８ピクセル分の水平ブランキング期間と、４５ライン分の垂直ブランキング期間とのそれぞれ所定のピクセル位置に、データアイランド期間とが分散して位置している。

図３の再生装置１，表示装置５がＨＤＭＩ規格に則って映像信号を入出力する（それぞれＨＤＭＩソース，ＨＤＭＩシンクである）場合には、エンコード部３，デコード部６をそれぞれＨＤＭＩ規格に基づく図４のＨＤＭＩトランスミッタ２２，ＨＤＭＩレシーバ２４の一部として構成して、エンコード部３が図５のデータアイランド期間にＡＵＸデータの一種として参照制御情報を重畳し、デコード部６がこのデータアイランド期間から参照制御情報を分離するようにすればよい。これにより、再生装置１及び表示装置５がＨＤＭＩ規格に則って映像信号を入出力する機器である場合にも、本発明を適用することができる。

図３に戻り、表示装置５では、デコード部６によって参照制御情報を分離された映像信号が、参照制御情報中の各ピクチャについての予測補償の形態の識別子及び表示順序の識別子とともに、実フレームのピクチャとして映像バッファ７に記録される。また、分離された参照制御情報中の動きベクトルが、動きベクトルバッファ８に記録される。また、分離された参照制御情報を用いて、デコード部６から、表示装置５内の各部を制御する制御信号が出力される。

補間ベクトル生成部９は、動きベクトルバッファ８に記憶された動きベクトルのうち、補間フレームの前後の実フレームのピクチャの予測に用いられた動きベクトルを用いて、補間ベクトルを生成する。すなわち、デコード部６で分離された動きベクトルの長さは実フレーム間の時間間隔に対応した長さであり、ハイフレームレート表示では実フレームに挟まれるようにして補間フレームを生成するため、動きベクトルを実フレームと補間フレームの時間間隔に比例した長さに変換するなどして補間ベクトルを生成する。

補間フレーム生成部１０は、補間フレームの前後の実フレームのピクチャを映像バッファ７から前述の識別子に基づいて読み出す。そして、補間ベクトル生成部９が生成した補間ベクトルを用いて、それらのピクチャに挟まれる補間フレームを予測によって生成する。

セレクタ１１は、変換後のフレームレートに合わせた表示タイミングで、映像バッファ７内のピクチャ（実フレーム）と、補間フレーム生成部１０が生成した補間フレームとのうちの一方ずつのフレームを選択して出力する。このようにしてセレクタ１１から出力されるハイフレームレート化された映像信号は、表示装置５内の図示しない表示駆動回路に供給されて、表示装置５に画面表示される。

映像バッファ７内のピクチャのうち、セレクタ１１に選択され、かつ補間フレームの生成にも不要となったピクチャは、デコード部６から新たに供給されるピクチャで上書きするなどして消去する。また、動きベクトルバッファ８内の動きベクトルのうち、補間ベクトルの生成に不要となった動きベクトルも、デコード部６から新たに供給される動きベクトルで上書きするなどして消去する。

図６，図７は、この再生装置１，表示装置５における処理をフローチャートとして示した図である。図６に示すように、再生装置１では、復号部２が、一定量の圧縮映像信号を復号し、復号した映像信号と得られた動きベクトルと、前述の予測補償の形態の識別子および表示順序の識別子を含む参照制御情報とをエンコード部３に供給する（ステップＳ１）。エンコード部３は、供給された映像信号を、参照制御情報をブランキング期間に重畳するようにエンコードし、内部の出力バッファなどで出力タイミングをはかって再生装置１から出力する（ステップＳ２）。その後、ステップＳ１に戻り、次の一定量の圧縮映像信号についての処理を繰り返す。

図７に示すように、表示装置５では、デコード部６が、表示装置５に入力した映像信号をデコードして、参照制御情報を分離した映像信号と、参照制御情報とを取り出す（ステップＳ１１）。そして、映像信号を、参照制御情報中の各ピクチャについての予測補償の形態の識別子及び表示順序の識別子を付加して、映像バッファ７に記録する（映像バッファ７内に不要になったピクチャがある場合には上書き消去する）（ステップＳ１２）。また、参照制御情報中の動きベクトルを、動きベクトルバッファ８に記録する（動きベクトルバッファ８内に不要になった動きベクトルがある場合には上書き消去する）（（ステップＳ１３）。

続いて、補間フレームを生成するために必要な量のピクチャが映像バッファ７に記録されたかを確認する（ステップＳ１４）。ノーであった場合には、ステップＳ１１に戻ってステップＳ１１〜Ｓ１４の処理を繰り返す。

このステップＳ１４は、次のような意味を持っている。補間フレームを生成する場合には、前後の実フレームのピクチャを用いるので、補間フレームの後に表示する実フレームのピクチャも必要である。例えば、図８に示すように、実フレームであるＩピクチャとＢ１ピクチャとの間に、Ｃ１という補間フレームを動きベクトルを用いて生成する場合には、ＩピクチャとＢ１ピクチャ、および例えばＩとＢ１との間の動きベクトル３１を半分にした補間ベクトルが必要となる。

また、Ｉピクチャが表示装置５に入力された後映像バッファ７から読み出されるまでには遅延時間Ｔ１が存在し、さらに、補間フレームＣ１を生成するための時間Ｔ２が必要になるので、補間フレームＣ１を表示できるのは、実フレームのＢ１ピクチャが入力された時間とＢ２ピクチャが入力された時間との間になる。

実フレームであるＢ１ピクチャとＢ２ピクチャとの間に、Ｃ２という補間フレームを生成する場合や、実フレームであるＢ２ピクチャとＰピクチャとの間に、Ｃ３という補間フレームを生成する場合も、同様である。

図８の例では直近の前後の実フレームを用いて補間フレームを生成したが、さらに時間的に離れた実フレームも用いる場合（例えば、図８の補間フレームＣ１を生成するために、Ｂ２ピクチャと、ＩとＢ２との間の動きベクトル３４を４分の１にした補間ベクトルも用いたり、Ｐピクチャと、ＩとＰとの間の動きベクトル３２を６分の１にした補間ベクトルも用いるような場合）には、さらに、補間フレームを表示できる時間が遅れることになる。

そこで、図７のステップＳ１４においては、補間フレームの生成に必要な量のピクチャが記録されたかを確認し、不十分な場合にはステップＳ１１〜Ｓ１４の処理を繰り返すようにしている。

このステップＳ１４においてイエスになると、補間ベクトル生成部９が、動きベクトルバッファ８に記録された動きベクトルのうち、補間フレームの前後の実フレームのピクチャの予測に用いられた動きベクトルを用いて補間ベクトルを生成する（ステップＳ１５）。

続いて、補間フレーム生成部１０が、補間フレームの前後の実フレームのピクチャを映像バッファ７から識別子に基づいて読み出し、補間ベクトル生成部９が生成した補間ベクトルを用いて、それらのピクチャに挟まれる補間フレームを予測によって生成する（ステップＳ１６）。

そして、セレクタ１１が、変換後のフレームレートに合わせた表示タイミングで、映像バッファ７内のピクチャと、補間フレーム生成部１０が生成した補間フレームとのうちの一方ずつのフレームを選択して出力する（ステップＳ１７）。その後ステップＳ１１に戻る。

以上に説明したように、図３のシステムによれば、復号部２を備えた再生装置１とフレームレート変換部１２を備えた表示装置５とが分離されているにもかかわらず、表示装置５で、フレームレート変換後の次のフレームを表示するまでの限られた時間内に動きベクトル検出を行なうための高い処理能力を持つ検出ユニットや、その検出処理のための電力消費を必要とすることなく、動きベクトルを用いてより自然な補間フレームを生成してフレームレート変換を行うことができる。

また、再生装置１で補間フレームを生成しないので、再生装置１と表示装置５とを接続する映像ケーブル４として、ハイフレームレート映像に対応した高い伝送量のケーブルを用いる必要もなくなる。

また、表示装置５で復号を行わないので、動きベクトルを用いた各種の符号化方式に対応した再生装置（復号部２の代わりに、ＭＰＥＧ以外の動きベクトルを用いた符号化方式に対応した復号部を設け、その復号部から、映像信号及び参照制御情報をエンコード部３に供給するようにした再生装置）からの出力映像信号を表示装置に入力してハイフレームレート化することができる。

また、再生装置１で映像信号に重畳する参照制御情報に、各ピクチャについての予測補償の形態の識別子及び表示順序の識別子が含まれているので、表示装置５では、前述のように、補間フレーム生成部１０が、これらの識別子に基づいて、補間フレームの前後の実フレームのピクチャを誤りなく映像バッファ７から読み出して補間フレームを生成することができる。

最後に、以上に説明した事項に対する変更例を、以下に（１）〜（６）として挙げることにする。

（１）再生装置１のエンコード部３が、参照制御情報を圧縮して映像信号のブランキング期間に重畳し、表示装置５のデコード部６が、映像信号のブランキング期間から分離した参照制御情報を伸張するようにしてもよい。これにより、伝送する信号の限られたブランキング期間の帯域を効率的に利用することが可能となる。

（２）全ての動きベクトルを映像信号のブランキング期間に重畳するのではなく、例えばマクロブロックの差分が小さい動きベクトルのような有効な動きベクトルだけを映像信号のブランキング期間に重畳するようにしてもよい。これにより、複数の映像からの動きベクトルによって高効率で圧縮を行うＭＰＥＧ−４などの場合に、伝送する信号の限られたブランキング期間の帯域を効率的に利用することが可能となる。

（３）再生装置１から表示装置５に映像信号などを伝送するだけでなく、逆に表示装置５内の制御部（ＣＰＵ等）から再生装置１に制御信号を送り、再生の開始を指示したり、参照制御情報の伝送出力の可否を確認したり、その伝送入力の可否を指示したり、その伝送量を指示してもよい。例えば、ＨＤＭＩ規格に則った機器の場合には前述のようにＣＥＣプロトコルの双方向制御用の制御信号を伝送することができるので（図４）、このＣＥＣプロトコルによって再生装置１に制御信号を送ってもよい。これにより、本発明を適用した機器同士の間だけで参照制御情報を伝送したり、動的に伝送量を制御することが可能となる。

（４）再生装置１から表示装置５に映像信号が入力されているときに表示装置５でそれ以外の映像を表示している場合でも、デコード部６でその入力映像信号から参照制御情報を分離して、予測補償の形態の識別子及び表示順序の識別子を付加した映像信号を映像バッファ７に記録させるとともに、動きベクトルを動きベクトルバッファ８に記録させるようにするとよい。これにより、その後その入力映像信号をハイフレームレート化して表示する際に、図８にＴ１として示した遅延時間を待つ必要がなくなるので、迅速に映像を表示することができる。

（５）圧縮映像信号の復号の順序と復号したピクチャの表示順序とが同じであるような場合や、復号したピクチャの表示順序が表示装置５で一義的に分かっているような場合には、表示順序の識別子を参照制御情報に含めなくてもよい。また、各ピクチャの予測補償の形態（Ｉピクチャ，Ｐピクチャ，Ｂピクチャのうちのいずれであるかなど）が動きベクトルそのものから判明するような場合には、予測補償の形態の識別子を参照制御情報に含めなくてもよい。

（６）以上の例では本発明に係る受信装置を表示装置５に適用しているが、本発明に係る受信装置は、表示部を有しないフレームレート変換装置にも適用してよい。

従来のフレームレート変換装置の構成例を示すブロック図である。 再生装置と分離されている表示装置におけるフレームレート変換部の構成を示すブロック図である。 本発明の一実施形態に係るフレームレート変換システムの構成例を示すブロック図である。 ＨＤＭＩ規格に則った機器の概要を示す図である。 ＨＤＭＩにおけるビデオフレーム中のデータアイランド期間の例を示す図である。 図３の再生装置の処理を示すフローチャートである。 図３の表示装置の処理を示すフローチャートである。 補間フレームの生成に必要なピクチャを例示する図である。

符号の説明

１ 再生装置、 ２ 復号部、 ３ エンコード部、 ４ 映像ケーブル、 ４ａ，４ｂ コネクタ、 ５ 表示装置、 ６ デコード部、 ７ 映像バッファ、 ８ 動きベクトルバッファ、 ９ 補間ベクトル生成部、 １０ 補間フレーム生成部、 １１ セレクタ、 １２ フレームレート変換部

Claims (12)

1. 送信装置と受信装置とから成るフレームレート変換システムにおいて、
   前記送信装置は、
   動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部と、
   前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳するエンコード部とを備え、
   前記エンコード部によって前記参照制御情報を重畳された映像信号を出力し、
   前記受信装置は、
   前記参照制御情報の伝送の可否及び／または伝送量を指示する制御信号を前記送信装置に送る制御部と、
   前記送信装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離するデコード部と、
   前記デコード部によって分離された前記参照制御情報を用いて、前記入力した映像信号のフレーム間の補間フレームを生成することにより、前記入力した映像信号をハイフレームレート化するフレームレート変換部とを備える
   フレームレート変換システム。
2. 請求項１に記載のフレームレート変換システムにおいて、
   前記送信装置から前記受信装置に、着脱可能なケーブルまたは無線伝送により、前記参照制御情報を重畳された映像信号が送信される
   フレームレート変換システム。
3. 請求項１に記載のフレームレート変換システムにおいて、
   前記参照制御情報は、
   前記復号部から出力される、動きベクトルと、
   予測補償の形態を示す識別子と、
   復号した映像信号の表示順序を示す識別子とを含む
   フレームレート変換システム。
4. 請求項１に記載のフレームレート変換システムにおいて、
   前記送信装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を出力する装置であり、
   前記エンコード部は、ＨＤＭＩ規格によるトランスミッタ内に設けられて、映像フレーム中のデータアイランド期間に前記参照制御情報を重畳し、
   前記受信装置は、ＨＤＭＩ規格によるデジタル映像信号を入力する装置であり、
   前記デコード部は、ＨＤＭＩ規格によるレシーバ内に設けられて、映像フレーム中のデータアイランド期間から前記参照制御情報を分離する
   フレームレート変換システム。
5. 請求項３に記載のフレームレート変換システムにおいて、
   前記受信装置は、映像を表示する表示装置であり、前記送信装置から映像信号が入力されているときにそれ以外の映像を表示している場合でも、前記入力されている映像信号から前記デコード部で前記参照制御情報を分離して、前記予測補償の形態の識別子及び前記表示順序の識別子を付加した映像信号を映像バッファに記録させるとともに、前記動きベクトルを動きベクトルバッファに記録させる
   フレームレート変換システム。
6. 動きベクトルによる符号化方式を用いた圧縮映像信号を復号する復号部を備えた送信装置から出力された映像信号を入力した受信装置が、前記入力した映像信号をハイフレームレート化するフレームレート変換方法において、
   前記送信装置が、前記復号部によって復号された映像信号のブランキング期間に、前記復号部から出力される、少なくとも動きベクトルを含む参照制御情報を重畳する第１のステップと、
   前記受信装置が、前記参照制御情報の伝送の可否及び／または伝送量を指示する制御信号を前記送信装置に送る第２のステップと、
   前記受信装置が、前記送信装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離する第３のステップと、
   前記受信装置が、前記第３のステップで分離した前記参照制御情報を用いて、前記入力した映像信号のフレーム間の補間フレームを生成することにより、前記入力した映像信号をハイフレームレート化する第４のステップとを有する
   フレームレート変換方法。
7. 請求項６に記載のフレームレート変換方法において、
   前記参照制御情報は、
   前記復号部から出力される、動きベクトルと、
   予測補償の形態を示す識別子と、
   復号した映像信号の表示順序を示す識別子とを含み、
   前記受信装置は、映像を表示する表示装置であり、前記第３のステップでは、前記送信装置から映像信号が入力されているときにそれ以外の映像を表示している場合でも、前記入力されている映像信号から前記参照制御情報を分離して、前記予測補償の形態の識別子及び前記表示順序の識別子を付加した映像信号を映像バッファに記録させるとともに、前記動きベクトルを動きベクトルバッファに記録させる
   フレームレート変換方法。
8. 動きベクトルによる符号化方式を用いた圧縮映像信号を復号した映像信号を送信する送信装置に、少なくとも動きベクトルを含む参照制御情報の伝送の可否及び／または伝送量を指示する制御信号を送る制御部と、
   前記送信装置から入力した映像信号のブランキング期間から、前記参照制御情報を分離するデコード部と、
   前記デコード部によって分離された前記参照制御情報を用いて、前記入力した映像信号のフレーム間の補間フレームを生成することにより、前記入力した映像信号をハイフレームレート化するフレームレート変換部とを備えた
   受信装置。
9. 請求項８に記載の受信装置において、
   映像信号のブランキング期間に前記参照制御情報が重畳された映像信号を出力する送信装置から、着脱可能なケーブルまたは無線伝送により、前記映像信号が入力される
   受信装置。
10. 請求項８に記載の受信装置において、
    前記参照制御情報は、
    前記送信装置において圧縮映像信号を復号する復号部から出力される、動きベクトルと、
    予測補償の形態を示す識別子と、
    復号した映像信号の表示順序を示す識別子とを含む
    受信装置。
11. 請求項８に記載の受信装置において、
    前記受信装置は、ＨＤＭＩ（High Definition Multimedia Interface）規格によるデジタル映像信号を入力する装置であり、
    前記デコード部は、ＨＤＭＩ規格に基づくレシーバ内に設けられて、映像フレーム中のデータアイランド期間から前記参照制御情報を分離する
    受信装置。
12. 請求項１０に記載の受信装置において、
    前記受信装置は、映像を表示する表示装置であり、前記送信装置から映像信号が入力されているときにそれ以外の映像を表示している場合でも、前記入力されている映像信号から前記デコード部で前記参照制御情報を分離して、前記予測補償の形態の識別子及び前記表示順序の識別子を付加した映像信号を映像バッファに記録させるとともに、前記動きベクトルを動きベクトルバッファに記録させる
    受信装置。

Images