明 細 書
映像処理装置および映像処理方法
技術分野
[0001] 本発明は、フレームレート変換処理を行う映像処理装置および映像処理方法に関 する。
背景技術
[0002] テレビジョン受像機等の映像処理装置においては、映像データに対してフレームレ ート変換処理を施している(例えば、特許文献 1)。フレームレート変換処理において は、例えば、時間軸上で連続する 2つのフレーム(動画像を構成する画面)から動き ベクトルを検出し、検出した動きベクトルを用いて補間フレームを生成している。この 処理を行うことにより、映像データの圧縮効率を向上させつつ、高品質な映像の実現 が可能となる。
特許文献 1 :特開昭 62— 175080号公報
発明の開示
発明が解決しょうとする課題
[0003] 一般に、テレビジョン受像機においては、ディスプレイパネル上にチャンネル番号 等のキャラクタを表示することができる。ディスプレイパネル上にキャラクタを表示する 際には、テレビジョン受像機は、内蔵されているマイクロコンピュータによりキャラクタ データを生成している。そして、生成したキャラクタデータとフレームレート変換処理を 施した映像データとを合成し、合成したデータを映像として出力している。
[0004] ところで、フレームレート変換処理においては、時間軸上で連続する 2つのフレーム 力、ら補間フレームが生成されるので、映像データのフレーム周波数が増加する。例え ば、 50Hzのフレーム周波数の映像データ力 フレームレート変換処理によって 100 Hzのフレーム周波数の映像データとなる。したがって、フレームレート変換処理後に キャラクタデータを合成する場合、フレーム周波数が増加した映像データにキャラクタ データを合成しなければならな!/、ので、データ処理速度の高レ、高性能のマイクロコン ピュータを用いなければならない。そのため、テレビジョン受像機の製品コストが増加
する。
[0005] そこで、本発明者らは、テレビジョン受像機の製品コストを低減するために、キャラク タデータと映像データとを合成した後にフレームレート変換処理を行う構成について 考察した。この場合、フレーム周波数が増加する前の映像データすなわちフレーム 周波数が低い映像データにキャラクタデータを合成することができる。したがって、デ ータ処理速度の高い高性能のマイクロコンピュータを用いなくてよい。それにより、テ レビジョン受像機の製品コストを低減することができる。
[0006] しかしながら、キャラクタデータと映像データとを合成した後にフレームレート変換処 理を行うことにより、画質が低下する場合があることが本発明者らによって発見された 。また、本発明者らは、画質が低下する複数の要因を発見した。以下、それら複数の 要因の一部を例に挙げて、フレームレート変換処理時に発生する問題について説明 する。
[0007] 図 15および図 16は、テレビジョン受像機のディスプレイパネルにチャンネル番号が 表示された場合の一例を示すものである。図 15および図 16においては、テレビジョ ン受像機 1000のディスプレイノ ネル 1001上に、チャンネル番号" 31"を示すキャラ クタ 1005が表示されている。なお、本例においては、主画面 1002内で 3羽の鳥 100 6, 1007, 1008が右方向へ移動している。図 15においては、鳥 1006の一部がキヤ ラクタ 1005によって隠れている。
[0008] ここで、上述したように、フレームレート変換処理においては、時間軸上で前後する 2つのフレームから補間フレームを生成している。そのため、上記のような場合、鳥 10 06のキャラクタ 1005によって隠れている部分については、動きベクトルを正確に検 出することができない。それにより、正確な補間フレームを生成することができない。
[0009] また、フレームレート変換処理においては、動きベクトルはブロック単位(例えば、 8
X 8画素)で検出される。そのため、キャラクタ 1005と鳥 1006との境界が 1つのブロッ ク内に存在する場合、そのブロックの動きベクトルは鳥 1006の動きに基づいて検出 されることがある。それにより、補間フレームにおいて、鳥 1006の移動とともにキャラク タ 1005の一部が移動することがある。
[0010] これらの結果、キャラクタ 1005および鳥 1006周辺の領域において画質が低下す
[0011] また、本発明者らは、 2つの映像データを合成した後に、その合成した映像データ にフレームレート変換処理を施す場合にも上記のような問題が発生することを見出し た。以下、図 15および図 16を参照しながら説明する。
[0012] 図 15および図 16においては、ディスプレイ 1001上に一の映像データに基づく主 画面 1002および他の映像データに基づく副画面 1003が表示されている。主画面 1 002の映像および副画面 1003の映像は互いに独立しており、主画面 1002上に畐 IJ 画面 1003が表示されている。なお、図 15および図 16においては、主画面 1002内 で自動車 1004が左方向に移動している。したがって、図 15において副画面 1003に よって隠れている自動車 1004の一部は、時間の経過とともに徐々に主画面 1002上 に現れる。
[0013] この場合、上記の場合と同様に、自動車 1004の副画面 1003によって隠れている 部分については、動きベクトルを正確に検出することができない。それにより、正確な 補間フレームを生成することができなレ、。
[0014] また、主画面 1002と副画面 1003との境界が 1つのブロック内に存在する場合、そ のブロックの動きベクトルは自動車 1004の動きに基づいて検出されることがある。そ れにより、補間フレームにおいて、自動車 1004の移動とともに副画面 1003の一部が 移動することがある。
[0015] これらの結果、副画面 1003および副画面 1003周辺の領域において画質が低下 する。
[0016] 以上のような要因により、従来のテレビジョン受像機の構成では、フレームレート変 換処理を行うことにより画質が低下する場合がある。そのため、高画質の映像を安定 して提供することが困難である。
[0017] 本発明の目的は、安価な構成で高画質の映像を安定して供給することができる映 像処理装置および映像処理方法を提供することである。
課題を解決するための手段
[0018] (1)本発明の一局面に従う映像処理装置は、第 1の映像を表示するための第 1の データおよび第 1の映像上に表示される第 2の映像を表示するための第 2のデータが
合成された合成データを処理する映像処理装置であって、複数のフレームの合成デ ータから動きベクトルを検出する動きベクトル検出部と、複数のフレームの合成データ および動きベクトル検出部により検出される動きベクトルに基づいて、 2つのフレーム を補間する補間フレームの補間データを生成する補間データ生成部とを備え、補間 データ生成部は、 2つのフレームのうち少なくとも一方のフレームにおいて第 2の映像 が表示される場合、補間フレームにおいて第 2の映像の表示領域の少なくとも外周部 に対応する領域の補間データを、動きベクトル検出部により検出された動きべクトノレ を用いずに生成するものである。
[0019] その映像処理装置においては、動きベクトル検出部において、複数のフレームの 合成データから動きベクトルが検出される。補間データ生成部において、複数のフレ ームの合成データおよび動きベクトルに基づレ、て、 2つのフレームを補間する補間フ レームの補間データが生成される。
[0020] ここで、補間データ生成部は、 2つのフレームのうち少なくとも一方のフレームが第 2 の映像の表示領域を有する場合、補間フレームにおいて第 2の映像の表示領域の 少なくとも外周部に対応する領域については、動きベクトルを用いずに補間データを 生成する。なお、外周部とは第 2の映像の表示領域の外形線を含む所定幅の領域の ことをいう。
[0021] この場合、本来移動すべきではない上記外周部が、動きベクトルに基づいて補間フ レームにおいて移動することを防止することができる。それにより、補間フレームにお いて、第 1の映像が表示されるべき領域に第 2の映像が表示されること、および第 2の 映像が表示されるべき領域に第 1の映像が表示されることを防止することができる。そ の結果、補間フレームにおいて適切な位置に第 2の映像を表示することができる。
[0022] また、補間データ生成部は、第 1のデータおよび第 2のデータが合成された合成デ ータから補間フレームを生成することができる。したがって、補間フレームを生成する 前、すなわち第 1のデータのフレーム数 (フレーム周波数)が増加する前に、第 1のデ 一タに第 2のデータを合成することができる。
[0023] それにより、例えば、第 2のデータがオンスクリーン表示のためのデータ(以下、 OS Dデータと略記する。)である場合には、第 1のフレーム数が増加した後に第 1のデー
タに OSDデータを合成する場合に比べて、データ処理速度の高くないマイクロコン ピュータを用いて第 1のデータに OSDデータを合成することができる。この場合、高 性能のマイクロコンピュータを映像処理装置に設ける必要がな!/、ので、映像処理装 置の製品コストを低減することができる。
[0024] 以上の結果、安価な構成で高精度の動き補償を行うことができる。それにより、高画 質の映像を安定して提供することが可能となる。
[0025] (2)補間データ生成部は、 2つのフレームのうち少なくとも一方のフレームにおいて 第 2の映像が表示される場合、補間フレームの全ての領域の補間データを、動きべク トル検出部により検出された動きベクトルを用いずに生成してもよレ、。
[0026] この場合、本来移動すべきではない第 2の映像力 動きベクトルに基づいて補間フ レームにおいて移動することを確実に防止することができる。それにより、補間フレー ムにおいて、第 1の映像が表示されるべき領域に第 2の映像が表示されること、およ び第 2の映像が表示されるべき領域に第 1の映像が表示されることを確実に防止する こと力 Sできる。その結果、補間フレームにおいて適切な位置に第 2の映像を表示する こと力 Sでさる。
[0027] (3)補間データ生成部は、 2つのフレームのうち少なくとも一方のフレームにおいて 第 2の映像が表示される場合、補間フレームにおいて第 2の映像の表示領域の少な くとも外周部に対応する領域の補間データとして第 2のデータを生成してもよい。
[0028] この場合、 2つのフレームの少なくとも一方に第 2の映像の表示領域が存在する場 合には、補間フレームの上記少なくとも外周部に対応する領域においても第 2のデー タに基づく映像が表示される。それにより、 2つのフレームがともに第 2の映像の表示 領域を有する場合に、補間フレームの上記少なくとも外周部に対応する領域におい て第 1のデータに基づく映像が表示されることを防止することができる。その結果、よ り高精度の動き補償を行うことが可能となる。
[0029] (4)補間データ生成部は、各フレームにおいて第 2の映像の表示領域を示す領域 データに基づいて、少なくとも外周部に対応する領域を決定してもよい。この場合、 領域データに基づいて、補間フレームにおいて上記少なくとも外周部が表示される 領域を容易に決定すること力 Sできる。
[0030] (5)補間データ生成部は、 2つのフレームのうち時間軸上で前方および後方のフレ ームの合成データと動きベクトル検出部により検出される動きベクトルとに基づいて第 1および第 2の予測フレームのデータをそれぞれ生成し、第 1の予測フレームにおけ る少なくとも外周部の領域と第 2の予測フレームにおける少なくとも外周部の領域とが 異なる場合に、補間フレームにおいて、第 1および第 2の予測フレームの一方におけ る少なくとも外周部に対応する領域の補間データとして、他方の予測フレームの対応 する領域のデータを選択してもよレ、。
[0031] この場合、補間データ生成部において、補間フレームの候補として、前方のフレー ムと動きベクトルとに基づく第 1の予測フレーム、および後方のフレームと動きベクトル とに基づく第 2の予測フレームが生成される。そして、補間フレームにおいて、第 1の 予測フレームの上記少なくとも外周部に対応する領域については、第 2の予測フレー ムの対応する領域のデータが補間データとして用いられ、第 2の予測フレームの上記 少なくとも外周部に対応する領域については、第 1の予測フレームの対応する領域 のデータが補間データとして用いられる。
[0032] したがって、本来移動すべきではない上記少なくとも外周部の領域が補間フレーム において移動することを防止しつつ、動きベクトルに基づいて、前方または後方のフ レームの合成データから補間フレームの補間データを生成することができる。それに より、補間フレームにおいて、適切な位置に第 2の映像を表示することができるととも に、より高精度の動き補償を行うことができる。その結果、より高画質の映像を安定し て提供することが可能となる。
[0033] (6)補間データ生成部は、前方および後方のフレームの合成データを用いた演算 により第 3の予測フレームのデータをさらに生成し、第 1の予測フレームにおける少な くとも外周部の領域と第 2の予測フレームにおける少なくとも外周部の領域とが等しい 場合に、補間フレームにおいて、第 1および第 2の予測フレームにおける少なくとも外 周部に対応する領域の補間データとして、第 3の予測フレームの対応する領域のデ ータを選択してもよい。
[0034] この場合、補間データ生成部において、補間フレームの候補として、前方のフレー ムの合成データと後方のフレームの合成データとを用いた演算により第 3の予測フレ
ームが生成される。そして、補間フレームにおいて、第 1の予測フレームの上記少なく とも外周部の領域および第 2の予測フレームの上記少なくとも外周部の領域の両方 に対応する領域につ!/、ては、第 3の予測フレームの対応する領域のデータが補間デ ータとして用いられる。
[0035] したがって、本来移動すべきではない上記少なくとも外周部の領域が補間フレーム において移動することを確実に防止しつつ、前方および後方のフレームの合成デー タから補間フレームの補間データを生成することができる。それにより、補間フレーム において、適切な位置に第 2の映像を表示することができるとともに、さらに高精度の 動き補償を行うことができる。その結果、さらに高画質の映像を安定して提供すること が可能となる。
[0036] (7)映像処理装置は、前方のフレームにおいて第 2の映像の表示領域を示す領域 データと動きベクトル検出部により検出される動きベクトルとに基づいて第 1の予測フ レームにおいて第 2の映像の表示領域を示す第 1の予測領域データを生成するとと もに、後方のフレームにおいて第 2の映像の表示領域を示す領域データと動きべタト ル検出部により検出される動きベクトルとに基づいて第 2の予測フレームにおいて第 2の映像の表示領域を示す第 2の予測領域データを生成する予測領域データ生成 部をさらに備え、補間データ生成部は、予測領域データ生成部により生成される第 1 および第 2の予測領域データに基づいて補間データを生成してもよい。
[0037] この場合、予測領域データ生成部において、前方のフレームの領域データと動き ベクトルとに基づいて第 1の予測フレームにおける第 2の映像の表示領域を示す第 1 の予測領域データが生成され、後方のフレームの領域データと動きベクトルとに基づ いて第 2の予測フレームにおける第 2の映像の表示領域を示す第 2の予測領域デー タが生成される。したがって、補間データ生成部は、第 1および第 2の予測領域デー タに基づいて、第 1および第 2の予測フレームにおける上記少なくとも外周部の領域 を容易に識別すること力 Sできる。
[0038] それにより、本来移動すべきではない上記少なくとも外周部の領域が補間フレーム において移動することをより確実に防止しつつ、前方および後方のフレームの合成デ ータから補間フレームの補間データを容易に生成することができる。その結果、補間
フレームにおいて、より適切な位置に第 2の映像を表示することができるとともに、さら に高精度の動き補償を行うことができる。
[0039] (8)第 2のデータは、オンスクリーン表示のためのデータであり、少なくとも外周部の 領域は、オンスクリーン表示のための領域の全てを含んでもよい。
[0040] この場合、補間フレームを生成する前、すなわち第 1のデータのフレーム数 (フレー ム周波数)が増加する前に、第 1のデータにオンスクリーン表示のためのデータ(以下
、 OSDデータと略記する。)を合成すること力 Sできる。
[0041] したがって、第 1のフレーム数が増加した後に第 1のデータに OSDデータを合成す る場合に比べて、データ処理速度の高くないマイクロコンピュータを用いて第 1のデ ータに OSDデータを合成することができる。この場合、高性能のマイクロコンピュータ を映像処理装置に設ける必要がな!/、ので、映像処理装置の製品コストを低減するこ と力 Sできる。
[0042] また、オンスクリーン表示のための領域については、動きベクトルを用いずに補間デ ータが生成される。
[0043] この場合、本来移動すべきではないオンスクリーン表示のための領域力 動きべタト ルに基づいて補間フレームにおいて移動することを防止することができる。それにより 、補間フレームにおいて、オンスクリーン表示が行われるべきではない領域において オンスクリーン表示が行われること、およびオンスクリーン表示が行われるべき領域に おいて第 1の映像が表示されることを防止することができる。その結果、補間フレーム において適切な位置でオンスクリーン表示を行うことができる。
[0044] (9)本発明の他の局面に従う映像処理装置は、第 1の映像を表示するための第 1 のデータおよび第 2の映像を表示するための第 2のデータを処理する映像処理装置 であって、第 1のデータと第 2のデータとを合成することにより、第 1の映像上に第 2の 映像が表示される複数のフレームの合成データを生成する合成データ生成部と、複 数のフレームの第 1のデータから動きベクトルを検出する動きベクトル検出部と、合成 データ生成部により生成される複数のフレームの合成データおよび動きベクトル検出 部により検出される動きベクトルに基づいて、 2つのフレームを補間する補間フレーム の補間データを生成する補間データ生成部とを備えるものである。
[0045] その映像処理装置においては、合成データ生成部において、第 1の映像を表示す るための第 1のデータと第 2の映像を表示するための第 2のデータとが合成され、合 成データが生成される。動きベクトル検出部において、複数のフレームの第 1のデー タから動きベクトルが検出される。補間データ生成部において、複数のフレームの合 成データおよび動きベクトルに基づ!/、て、 2つのフレームを補間する補間フレームの 補間データが生成される。
[0046] このように、動きベクトルは第 1のデータから検出される。したがって、第 1の映像上 に第 2の映像が表示されて!/、ても、第 2のデータを考慮せずに動きベクトルを検出す ること力 Sでさる。
[0047] この場合、合成データの複数のフレームにおいて、第 2の映像により表示されない 領域の第 1の映像についても、 2つのフレームの間で正確にマッチングを行うことがで きる。それにより、第 1の映像について、動きベクトルを高精度で検出することが可能 になる。
[0048] また、補間データ生成部は、第 1のデータおよび第 2のデータが合成された合成デ ータから補間フレームを生成することができる。したがって、補間フレームを生成する 前、すなわち第 1のデータのフレーム数 (フレーム周波数)が増加する前に、第 1のデ 一タに第 2のデータを合成することができる。
[0049] それにより、例えば、第 2のデータが OSDデータである場合には、第 1のフレーム数 が増加した後に第 1のデータに OSDデータを合成する場合に比べて、データ処理速 度の高くないマイクロコンピュータを用いて第 1のデータに OSDデータを合成するこ とができる。この場合、高性能のマイクロコンピュータを映像処理装置に設ける必要が なレ、ので、映像処理装置の製品コストを低減することができる。
[0050] 以上の結果、安価な構成で高精度の動き補償を行うことができる。それにより、高画 質の映像を安定して提供することが可能となる。
[0051] (10)補間データ生成部は、 2つのフレームのうち少なくとも一方のフレームにおい て第 2の映像が表示される場合、補間フレームにおいて第 2の映像の表示領域に対 応する領域の補間データを、動きベクトル検出部により検出された動きベクトルを用 いずに生成してもよい。
[0052] この場合、本来移動すべきではな!/、第 2の映像の表示領域が、動きベクトルに基づ いて補間フレームにおいて移動することを防止することができる。それにより、補間フ レームにおいて、第 1の映像が表示されるべき領域に第 2の映像が表示されること、 および第 2の映像が表示されるべき領域に第 1の映像が表示されることを防止するこ とができる。その結果、補間フレームにおいて適切な位置に第 2の映像を表示するこ と力 Sできる。
[0053] ( 1 1 )補間データ生成部は、 2つのフレームのうち少なくとも一方のフレームにおい て第 2の映像が表示される場合、補間フレームの全ての領域の補間データを、動き ベクトル検出部により検出された動きベクトルを用いずに生成してもよい。
[0054] この場合、本来移動すべきではない第 2の映像力 動きベクトルに基づいて補間フ レームにおいて移動することを確実に防止することができる。それにより、補間フレー ムにおいて、第 1の映像が表示されるべき領域に第 2の映像が表示されること、およ び第 2の映像が表示されるべき領域に第 1の映像が表示されることを確実に防止する こと力 Sできる。その結果、補間フレームにおいて適切な位置に第 2の映像を表示する こと力 Sでさる。
[0055] ( 12)補間データ生成部は、 2つのフレームのうち少なくとも一方のフレームにおい て第 2の映像が表示される場合、補間フレームにおいて第 2の映像の表示領域に対 応する領域の補間データとして第 2のデータを生成してもよい。
[0056] この場合、 2つのフレームの少なくとも一方に第 2の映像の表示領域が存在する場 合には、補間フレームの上記少なくとも外周部に対応する領域においても第 2のデー タに基づく映像が表示される。それにより、 2つのフレームがともに第 2の映像の表示 領域を有する場合に、補間フレームの上記少なくとも外周部に対応する領域におい て第 1のデータに基づく映像が表示されることを防止することができる。その結果、よ り高精度の動き補償を行うことが可能となる。
[0057] ( 13)補間データ生成部は、各フレームにおいて第 2の映像の表示領域を示す領 域データに基づいて、第 2の映像の表示領域に対応する領域を決定してもよい。この 場合、領域データに基づいて、補間フレームにおける第 2の映像の表示領域を容易 に決定することができる。
[0058] (14)補間データ生成部は、 2つのフレームのうち時間軸上で前方および後方のフ レームの合成データと動きベクトル検出部により検出される動きベクトルとに基づいて 第 1および第 2の予測フレームのデータをそれぞれ生成し、第 1の予測フレームにお ける第 2の映像の表示領域と第 2の予測フレームにおける第 2の映像の表示領域とが 異なる場合に、補間フレームにおいて、第 1および第 2の予測フレームの一方におけ る第 2の映像の表示領域に対応する領域の補間データとして、他方の予測フレーム の対応する領域のデータを選択してもよレ、。
[0059] この場合、補間データ生成部において、補間フレームの候補として、前方のフレー ムと動きベクトルとに基づく第 1の予測フレーム、および後方のフレームと動きベクトル とに基づく第 2の予測フレームが生成される。そして、補間フレームにおいて、第 1の 予測フレームの第 2の映像の表示領域に対応する領域につ!/、ては、第 2の予測フレ ームの対応する領域のデータが補間データとして用いられ、第 2の予測フレームの第 2の映像の表示領域に対応する領域については、第 1の予測フレームの対応する領 域のデータが補間データとして用いられる。
[0060] したがって、本来移動すべきではない第 2の映像の表示領域が補間フレームにお いて移動することを防止しつつ、動きベクトルに基づいて、前方または後方のフレー ムの合成データから補間フレームの補間データを生成することができる。それにより、 補間フレームにおいて、適切な位置に第 2の映像を表示することができるとともに、よ り高精度の動き補償を行うことができる。その結果、より高画質の映像を安定して提供 すること力 S可倉 となる。
[0061] (15)補間データ生成部は、前方および後方のフレームの合成データを用いた演 算により第 3の予測フレームのデータをさらに生成し、第 1の予測フレームにおける第 2の映像の表示領域と第 2の予測フレームにおける第 2の映像の表示領域とが等しい 場合に、補間フレームにおいて、第 1および第 2の予測フレームにおける第 2の映像 の表示領域に対応する領域の補間データとして、第 3の予測フレームの対応する領 域のデータを選択してもよ!/、。
[0062] この場合、補間データ生成部において、補間フレームの候補として、前方のフレー ムの合成データと後方のフレームの合成データとを用いた演算により第 3の予測フレ
ームが生成される。そして、補間フレームにおいて、第 1の予測フレームの第 2の映像 の表示領域および第 2の予測フレームの第 2の映像の表示領域の両方に対応する 領域にっレ、ては、第 3の予測フレームの対応する領域のデータが補間データとして 用いられる。
[0063] したがって、本来移動すべきではない第 2の映像の表示領域が補間フレームにお いて移動することを確実に防止しつつ、前方および後方のフレームの合成データか ら補間フレームの補間データを生成することができる。それにより、補間フレームにお いて、適切な位置に第 2の映像を表示することができるとともに、さらに高精度の動き 補償を行うことができる。その結果、さらに高画質の映像を安定して提供することが可 能となる。
[0064] (16)映像処理装置は、前方のフレームにおいて第 2の映像の表示領域を示す領 域データと動きベクトル検出部により検出される動きベクトルとに基づいて第 1の予測 フレームにおいて第 2の映像の表示領域を示す第 1の予測領域データを生成すると ともに、後方のフレームにおいて第 2の映像の表示領域を示す領域データと動きべク トル検出部により検出される動きベクトルとに基づいて第 2の予測フレームにおいて 第 2の映像の表示領域を示す第 2の予測領域データを生成する予測領域データ生 成部をさらに備え、補間データ生成部は、予測領域データ生成部により生成される 第 1および第 2の予測領域データに基づいて補間データを生成してもよい。
[0065] この場合、予測領域データ生成部において、前方のフレームの領域データと動き ベクトルとに基づいて第 1の予測フレームにおける第 2の映像の表示領域を示す第 1 の予測領域データが生成され、後方のフレームの領域データと動きベクトルとに基づ いて第 2の予測フレームにおける第 2の映像の表示領域を示す第 2の予測領域デー タが生成される。したがって、補間データ生成部は、第 1および第 2の予測領域デー タに基づいて、第 1および第 2の予測フレームにおける第 2の映像の表示領域を容易 に識另すること力 Sできる。
[0066] それにより、本来移動すべきではない第 2の映像の表示領域が補間フレームにお いて移動することをより確実に防止しつつ、前方および後方のフレームの合成データ 力、ら補間フレームの補間データを容易に生成することができる。その結果、補間フレ
ームにおいて、より適切な位置に第 2の映像を表示することができるとともに、さらに 高精度の動き補償を行うことができる。
[0067] (17)第 2のデータは、オンスクリーン表示のためのデータであってもよい。この場合 、補間フレームを生成する前、すなわち第 1のデータのフレーム数 (フレーム周波数) が増加する前に、第 1のデータにオンスクリーン表示のためのデータ(以下、 OSDデ ータと略記する。)を合成すること力 Sできる。
[0068] したがって、第 1のフレーム数が増加した後に第 1のデータに OSDデータを合成す る場合に比べて、データ処理速度の高くないマイクロコンピュータを用いて第 1のデ ータに OSDデータを合成することができる。この場合、高性能のマイクロコンピュータ を映像処理装置に設ける必要がな!/、ので、映像処理装置の製品コストを低減するこ と力 Sできる。
[0069] (18)本発明のさらに他の局面に従う映像処理装置は、第 1の映像を表示するため の第 1のデータおよび第 1の映像上に表示される第 2の映像を表示するための第 2の データが合成された合成データを処理する映像処理装置であって、複数のフレーム の合成データに基づいて 2つのフレームを補間する補間フレームの補間データを生 成する補間データ生成部と、複数のフレームおよび補間フレームの映像補正を行う 映像補正部とを備え、映像補正部は、複数のフレームおよび補間フレームのうち第 2 の映像が表示されるフレームにおいては、第 2の映像の映像補正を行わないか、また は第 2の映像の映像補正率を第 1の映像の映像補正率よりも低く設定するものである
[0070] その映像処理装置においては、補間データ生成部において、複数のフレームの合 成データから 2つのフレームを補間する補間フレームの補間データが生成される。ま た、映像補正部において、複数のフレームおよび補間フレームの映像補正が行われ
[0071] ここで、映像補正部は、複数のフレームおよび補間フレームのうち第 2の映像が表 示されるフレームにおいては、第 2の映像の表示領域の映像補正を行わないか、ま たは第 2の映像の映像補正率を第 1の映像の映像補正率よりも低く設定する。この場 合、第 2の映像が表示されるフレームの映像補正を行う際に、第 2の映像の表示領域
に不必要な画質補正がなされることが防止される。それにより、第 2の映像の画質が 低下することを防止すること力 Sできる。また、補正後の第 1の映像に第 2の映像の要素 (第 2のデータ)が反映されることを防止することができる。それにより、映像補正後の 第 1の映像の画質が低下することを防止することができる。
[0072] また、補間データ生成部は、第 1のデータおよび第 2のデータが合成された合成デ ータから補間フレームを生成することができる。したがって、補間フレームを生成する 前、すなわち第 1のデータのフレーム数 (フレーム周波数)が増加する前に、第 1のデ 一タに第 2のデータを合成することができる。
[0073] それにより、例えば、第 2のデータがオンスクリーン表示のためのデータ(以下、 OS Dデータと略記する。)である場合には、第 1のフレーム数が増加した後に第 1のデー タに OSDデータを合成する場合に比べて、データ処理速度の高くないマイクロコン ピュータを用いて第 1のデータに OSDデータを合成することができる。この場合、高 性能のマイクロコンピュータを映像処理装置に設ける必要がな!/、ので、映像処理装 置の製品コストを低減することができる。
[0074] 以上の結果、安価な構成で高画質の映像を安定して供給することが可能となる。
[0075] (19)映像補正部は、第 2の映像が表示されるフレームにおいては、第 2のデータを 用いずに映像補正を行ってもょレ、。
[0076] この場合、補正後の第 1の映像に第 2の映像の要素(第 2のデータ)が反映されるこ とを確実に防止することができる。それにより、映像補正後の第 1の映像の画質が低 下することを確実に防止することができる。
[0077] (20) 映像補正部は、合成データおよび補間データに基づいて複数のフレームお よび補間フレームの特徴量を抽出し、抽出される特徴量に基づいて複数のフレーム および補間フレームの映像補正を行い、第 2の映像が表示されるフレームにおいて は第 2のデータを用いずに特徴量を抽出してもよい。
[0078] この場合、特徴量に基づいて複数のフレームおよび補間フレームの映像補正が行 われるので、複数のフレームおよび補間フレームの画質を十分に向上させることがで きる。
[0079] また、第 2の映像が表示されるフレームの特徴量抽出に第 2のデータが用いられな
い。この場合、第 2の映像が表示されるフレームの映像補正を行う際に、補正後の第 1の映像に第 2の映像の要素(第 2のデータ)が反映されることを確実に防止すること ができる。それにより、映像補正後の第 1の映像の画質が低下することを確実に防止 すること力 Sでさる。
[0080] (21 )本発明のさらに他の局面に従う映像処理方法は、第 1の映像を表示するため の第 1のデータおよび第 1の映像上に表示される第 2の映像を表示するための第 2の データが合成された合成データを処理する映像処理方法であって、複数のフレーム の合成データから動きベクトルを検出するステップと、複数のフレームの合成データ および動きベクトルに基づレ、て、 2つのフレームを補間する補間フレームの補間デー タを生成するステップとを備え、補間データを生成するステップにおいて、 2つのフレ ームのうち少なくとも一方のフレームにおいて第 2の映像が表示される場合、補間フ レームにおいて第 2の映像の表示領域の少なくとも外周部に対応する領域の補間デ ータを、動きベクトル検出部により検出された動きベクトルを用いずに生成するもので ある。
[0081] その映像処理方法においては、複数のフレームの合成データから動きベクトルが検 出される。複数のフレームの合成データおよび動きベクトルに基づいて、 2つのフレ ームを補間する補間フレームの補間データが生成される。
[0082] ここで、 2つのフレームのうち少なくとも一方のフレームが第 2の映像の表示領域を 有する場合、補間フレームにおいて第 2の映像の表示領域の少なくとも外周部に対 応する領域については、動きベクトルを用いずに補間データが生成される。
[0083] この場合、本来移動すべきではない上記外周部が、動きベクトルに基づいて補間フ レームにおいて移動することを防止することができる。それにより、補間フレームにお いて、第 1の映像が表示されるべき領域に第 2の映像が表示されること、および第 2の 映像が表示されるべき領域に第 1の映像が表示されることを防止することができる。そ の結果、補間フレームにおいて適切な位置に第 2の映像を表示することができる。
[0084] また、第 1のデータおよび第 2のデータが合成された合成データから補間フレーム を生成すること力 Sできる。したがって、補間フレームを生成する前、すなわち第 1のデ ータのフレーム数 (フレーム周波数)が増加する前に、第 1のデータに第 2のデータを
合成すること力でさる。
[0085] それにより、例えば、第 2のデータがオンスクリーン表示のためのデータ(以下、 OS Dデータと略記する。)である場合には、第 1のフレーム数が増加した後に第 1のデー タに OSDデータを合成する場合に比べて、データ処理速度の高くないマイクロコン ピュータを用いて第 1のデータに OSDデータを合成することができる。したがって、高 性能のマイクロコンピュータを用いる必要がなレ、。
[0086] 以上の結果、安価な構成で高精度の動き補償を行うことが可能となる。それにより、 高画質の映像を安定して提供することが可能となる。
[0087] (22)本発明のさらに他の局面に従う映像処理装置は、第 1の映像を表示するため の第 1のデータおよび第 2の映像を表示するための第 2のデータを処理する映像処 理方法であって、第 1のデータと第 2のデータとを合成することにより、第 1の映像上 に第 2の映像が表示される複数のフレームの合成データを生成するステップと、複数 のフレームの第 1のデータから動きベクトルを検出するステップと、複数のフレームの 合成データおよび動きベクトルに基づレ、て、 2つのフレームを補間する補間フレーム の補間データを生成するステップとを備えたものである。
[0088] その映像処理方法においては、第 1の映像を表示するための第 1のデータと第 2の 映像を表示するための第 2のデータとが合成され、合成データが生成される。複数の フレームの第 1のデータから動きベクトルが検出される。複数のフレームの合成デー タおよび動きベクトルに基づ!/、て、 2つのフレームを補間する補間フレームの補間デ ータが生成される。
[0089] このように、動きベクトルは、第 1のデータから検出される。したがって、第 1の映像 上に第 2の映像が表示されて!/、ても、第 2のデータを考慮せずに動きベクトルを検出 すること力 Sでさる。
[0090] この場合、合成データの複数のフレームにおいて、第 2の映像により表示されない 領域の第 1の映像についても、 2つのフレームの間で正確にマッチングを行うことがで きる。それにより、第 1の映像について、動きベクトルを高精度で検出することが可能 になる。
[0091] また、第 1のデータおよび第 2のデータが合成された合成データから補間フレーム
を生成すること力 sできる。したがって、補間フレームを生成する前、すなわち第 1のデ ータのフレーム数 (フレーム周波数)が増加する前に、第 1のデータに第 2のデータを 合成すること力でさる。
[0092] それにより、例えば、第 2のデータが OSDデータである場合には、第 1のフレーム数 が増加した後に第 1のデータに OSDデータを合成する場合に比べて、データ処理速 度の高くないマイクロコンピュータを用いて第 1のデータに OSDデータを合成するこ と力 Sできる。したがって、高性能のマイクロコンピュータを用いる必要がない。
[0093] 以上の結果、安価な構成で高精度の動き補償を行うことができる。それにより、高画 質の映像を安定して提供することが可能となる。
発明の効果
[0094] 本発明によれば、 2つのフレームのうち少なくとも一方のフレームが第 2の映像の表 示領域を有する場合、補間フレームにおいて第 2の映像の表示領域の少なくとも外 周部に対応する領域については、動きベクトルを用いずに補間データが生成される 。それにより、補間フレームにおいて、第 1の映像が表示されるべき領域に第 2の映 像が表示されること、および第 2の映像が表示されるべき領域に第 1の映像が表示さ れることを防止すること力 Sでさる。
[0095] また、第 1のデータおよび第 2のデータが合成された合成データから補間フレーム を生成すること力 Sできる。したがって、補間フレームを生成する前、すなわち第 1のデ ータのフレーム数 (フレーム周波数)が増加する前に、第 1のデータに第 2のデータを 合成すること力でさる。
[0096] それにより、例えば、第 2のデータがオンスクリーン表示のためのデータ(以下、 OS Dデータと略記する。)である場合には、第 1のフレーム数が増加した後に第 1のデー タに OSDデータを合成する場合に比べて、データ処理速度の高くないマイクロコン ピュータを用いて第 1のデータに OSDデータを合成することができる。この場合、高 性能のマイクロコンピュータを映像処理装置に設ける必要がな!/、ので、映像処理装 置の製品コストを低減することができる。
[0097] また、動きベクトルは、第 1のデータから検出することができる。したがって、第 1の映 像上に第 2の映像が表示されて!/、ても、第 2のデータを考慮せずに動きベクトルを検
出することカできる。この場合、合成データの複数のフレームにおいて、第 2の映像に より表示されない領域の第 1の映像についても、 2つのフレームの間で正確にマッチ ングを行うことができる。それにより、第 1の映像について、動きベクトルを高精度で検 出することが可能になる。
[0098] また、第 2の映像が表示されるフレームにおいては、第 2の映像の映像補正が行わ れないか、または第 2の映像の映像補正率が第 1の映像の映像補正率よりも低く設定 される。この場合、第 2の映像が表示されるフレームの映像補正を行う際に、第 2の映 像の表示領域に不必要な画質補正がなされることが防止される。それにより、第 2の 映像の画質が低下することを防止することができる。また、補正後の第 1の映像に第 2 の映像の要素(第 2のデータ)が反映されることを防止することができる。それにより、 映像補正後の第 1の映像の画質が低下することを防止することができる。
[0099] 以上の結果、高画質の映像を安定して提供することが可能となる。
図面の簡単な説明
[0100] [図 1]図 1は第 1の実施の形態に係るテレビジョン受像機の構成を示すブロック図 [図 2]図 2は動き補償部の主要部の構成を示すブロック図
[図 3]図 3は補間フレームの生成方法を説明するための図
[図 4]図 4は領域データを説明するための図
[図 5]図 5は映像データ選択部による映像データの選択処理を示すフローチャート [図 6]図 6は動き補償部の他の例を示すブロック図
[図 7]図 7は第 2の実施の形態に係るテレビジョン受像機の構成を示すブロック図 [図 8]図 8は図 7の動きベクトル検出部による動きベクトルの検出方法を説明するため の図
[図 9]図 9は第 2の実施の形態に係るテレビジョン受像機の他の例および第 3の実施 の形態に係るテレビジョン受像機の構成を示すブロック図
[図 10]図 10は第 4の実施の形態に係るテレビジョン受像機の動き補償部の主要部の 構成を示すブロック図
[図 11]図 11は第 5の実施の形態に係るテレビジョン受像機の構成を示すブロック図 [図 12]図 12は第 6の実施の形態に係るテレビジョン受像機の構成を示すブロック図
[図 13]図 13は第 7の実施の形態に係るテレビジョン受像機の構成を示すブロック図 [図 14]図 14は、映像補正部の一例を示すブロック図
[図 15]図 15はテレビジョン受像機のディスプレイパネルに 2つの画面が同時に表示さ れた場合の一例を示す図
[図 16]図 16はテレビジョン受像機のディスプレイパネルに 2つの画面が同時に表示さ れた場合の一例を示す図
発明を実施するための最良の形態
[0101] 以下、本発明の実施の形態に係る映像処理装置の一例としてデジタル放送信号を 受信するテレビジョン受像機について図面を用いて説明する。
[0102] (1)第 1の実施の形態
(A)テレビジョン受像機の構成
図 1は、本発明の第 1の実施の形態に係るテレビジョン受像機の構成を示すブロッ ク図である。なお、第 1の実施の形態においては、画面上に OSD (オンスクリーン表 示: On Screen Display)でキャラクタ(例えば、チャンネル番号)が提示されている状 態でフレームレート変換処理を行う場合について説明する。
[0103] 図 1に示すように、本実施の形態に係るテレビジョン受像機 100は、選局部 101、復 調部 102、 TS (トランスポートストリーム)デコーダ 103、 AV (音声映像)デコーダ 104 、音声出力部 105、合成部 106、マイクロコンピュータ 107、動きベクトル検出部 108 、動き補償部 109、および映像出力部 110を含む。
[0104] 選局部 101には、アンテナ 901から複数のデジタル放送信号 (以下、放送信号と略 記する。)が入力される。選局部 101は、複数の放送信号の中から 1つの放送信号を 選択し、選択した放送信号を復調部 102へ出力する。
[0105] 復調部 102は、選局部 101から出力された放送信号を復調することにより MPEG ( Motion Picture Experts Group) 2規格に準拠したトランスポートストリームを生成す る。また、復調部 102は、生成したトランスポートストリームを TSデコーダ 103へ出力 する。
[0106] TSデコーダ 103は、復調部 102から出力されたトランスポートストリームから音声ス トリームおよび映像ストリームを分離する。また、 TSデコーダ 103は、分離した音声ス
トリームおよび映像ストリームを AVデコーダ 104へ出力する。
[0107] AVデコーダ 104は、 TSデコーダ 103から出力された音声ストリームおよび映像スト リームを復号し、音声データおよび映像データを生成する。また、 AVデコーダ 104は 、生成した音声データを音声出力部 105へ出力し、映像データを合成部 106へ出力 する。
[0108] 音声出力部 105は、スピーカ等の音声出力装置を含み、 AVデコーダ 104から出 力された音声データを音声として出力する。
[0109] マイクロコンピュータ 107は、キャラクタデータを生成し、生成したキャラクタデータを 合成部 106へ出力する。また、マイクロコンピュータ 107は、領域データを生成し、生 成した領域データを動き補償部 109へ出力する。なお、本実施の形態において領域 データとは、キャラクタが表示される領域を示す情報であり、画素ごとにその画素がキ ャラクタの一部を表示する画素であるか否かを示している。
[0110] マイクロコンピュータ 107がキャラクタデータを出力している場合、合成部 106は、 A Vデコーダ 104から出力された映像データにキャラクタデータを合成する。そして、キ ャラクタデータが合成された映像データを動きベクトル検出部 108および動き補償部 109へ出力する。
[0111] マイクロコンピュータ 107がキャラクタデータを出力していない場合、合成部 106は
、AVデコーダ 104から出力された映像データをそのまま動きベクトル検出部 108お よび動き補償部 109へ出力する。
[0112] 動きベクトル検出部 108は、合成部 106から出力された映像データに基づいて所 定のブロック(例えば、 8 X 8画素の画素領域)ごとに動きベクトルを検出し、各画素の 動きベクトルデータを動き補償部 109へ出力する。
[0113] 動き補償部 109は、動きベクトル検出部 108から出力された動きベクトルデータおよ びマイクロコンピュータ 107から出力された領域データに基づいて、合成部 106から 出力された映像データに対しフレームレート変換処理を施す。
[0114] 動き補償部 109は、上記フレームレート変換処理後の映像データを映像出力部 11
0へ出力する。なお、フレームレート変換処理においては、動き補償部 109は、時間 軸上で連続する 2つのフレーム間を補間するフレーム(補間フレーム)のデータを生
成する。動き補償部 109の詳細は後述する。
[0115] 映像出力部 110は、液晶ディスプレイパネルまたはプラズマディスプレイパネル等 の映像表示装置を含み、動き補償部 109から出力された映像データを映像として表 示する。なお、キャラクタデータが合成された映像データを映像として表示する際に は、映像表示装置にキャラクタが OSDで提示される。
[0116] (B)動き補償
次に、動き補償部 109における補間フレームの生成方法について図面を用いて詳 細に説明する。
[0117] (b— 1)動き補償部の構成
まず、動き補償部 109の構成について説明する。
[0118] 図 2は、動き補償部 109の主要部の構成を示すブロック図である。図 2に示すように
、動き補償部 109は、映像データ選択部 91、映像データ編集部 92、ベクトル参照デ ータ編集部 93、遅延部 94、領域データ編集部 95および遅延部 96を含む。なお、映 像データ編集部 92、ベクトル参照データ編集部 93および領域データ編集部 95には
、それぞれ 2つのフレームメモリが設けられている。
[0119] 合成部 106から出力された映像データは、映像データ編集部 92の一方のフレーム メモリ、ベクトル参照データ編集部 93の一方のフレームメモリおよび遅延部 94に入力 される。
[0120] 動きベクトル検出部 108から出力された動きベクトルデータは、ベクトル参照データ 編集部 93および領域データ編集部 95に入力される。マイクロコンピュータ 107から 出力された領域データは、領域データ編集部 95の一方のフレームメモリおよび遅延 部 96に入力される。
[0121] 遅延部 94は、入力された映像データを 1フレーム分遅延させて映像データ編集部
92の他方のフレームメモリおよびベクトル参照データ編集部 93の他方のフレームメ モリへ出力する。すなわち、映像データ編集部 92およびベクトル参照データ編集部 9 3の各他方のフレームメモリには、映像データ編集部 92およびベクトル参照データ編 集部 93の各一方のフレームメモリに入力される映像データより 1フレーム分前の映像 データが入力される。以下、映像データ編集部 92およびベクトル参照データ編集部
93の各一方のフレームメモリに入力される映像データにより生成されるフレームを現 フレームと称し、各他方のフレームメモリに入力される映像データにより生成されるフ レームを前フレームと称する。
[0122] 遅延部 96は、入力された領域データを 1フレーム分遅延させて領域データ編集部
95の他方のフレームメモリへ出力する。すなわち、領域データ編集部 95の他方のフ レームメモリには、領域データ編集部 95の一方のフレームメモリに入力される領域デ ータより 1フレーム分前の領域データが入力される。
[0123] なお、領域データ編集部 95の一方のフレームメモリに記憶される領域データは、現 フレームにおいてキャラクタが表示される画素領域を示し、他方のフレームメモリに記 憶される領域データは、前フレームにおいてキャラクタが表示される画素領域を示し ている。以下、領域データ編集部 95の一方のフレームメモリに入力される領域データ を現フレームの領域データと称し、他方のフレームメモリに入力される領域データを 前フレームの領域データと称する。
[0124] 映像データ編集部 92は、一方のフレームメモリに記憶された現フレームの映像デ ータをそのまま現フレーム映像データ PVDとして映像データ選択部 91へ出力する。
[0125] また、映像データ編集部 92は、一方のフレームメモリに記憶された現フレームの映 像データおよび他方のフレームメモリに記憶された前フレームの映像データから平均 映像データ AVDを生成し、映像データ選択部 91へ出力する。なお、平均映像デー タ AVDにより生成されるフレームにおいては、各画素の輝度は、前フレームの同じ位 置の画素の輝度および現フレームの同じ位置の画素の輝度の平均値となる。
[0126] ベクトル参照データ編集部 93は、一方のフレームメモリに記憶された現フレームの 映像データおよび動きベクトル検出部 108から出力される動きベクトルデータに基づ いて後方補償映像データ RVDを生成し、映像データ選択部 91へ出力する。後方補 償映像データ RVDの詳細は後述する。
[0127] また、ベクトル参照データ編集部 93は、他方のフレームメモリに記憶された前フレ ームの映像データおよび動きベクトル検出部 108から出力される動きベクトルデータ に基づいて前方補償映像データ FVDを生成し、映像データ選択部 91へ出力する。 前方補償映像データ FVDの詳細は後述する。
[0128] 領域データ編集部 95は、一方のフレームメモリに記憶された現フレームの領域デ ータをそのまま現フレーム領域データ PADとして映像データ選択部 91へ出力する。
[0129] また、領域データ編集部 95は、一方のフレームメモリに記憶された現フレームの領 域データおよび動きベクトル検出部 108から出力される動きベクトルデータに基づい て後方補償領域データ RADを生成し、映像データ選択部 91へ出力する。後方補償 領域データ RADの詳細は後述する。
[0130] さらに、領域データ編集部 95は、他方のフレームメモリに記憶された前フレームの 領域データおよび動きベクトル検出部 108から出力される動きベクトルデータに基づ いて前方補償領域データ FADを生成し、映像データ選択部 91へ出力する。前方補 償領域データ FADの詳細は後述する。
[0131] 映像データ選択部 91は、領域データ編集部 95から出力される 3つの領域データ P AD, RAD, FADに基づいて、 4つの映像データ PVD, AVD, RVD, FVDのうち 1 つの映像データを選択し、映像出力部 110へ出力する。なお、映像データ選択部 91 における映像データの選択は画素ごとに行われる。映像データ選択部 91による映像 データの選択方法の詳細は後述する。
[0132] (b— 2)補間フレームの生成方法
次に、動き補償部 109における補間フレームの生成方法について説明する。
[0133] 図 3は、補間フレームの生成方法を説明するための図である。図 3において、(a)は 、合成部 106から出力される映像データに基づいて生成される前フレームの一部領 域(8 X 8画素の画素領域)を示し、(b)は、現フレームの一部領域を示し、図 3 (c)は 、動き補償部 109によって生成される補間フレームを示している。
[0134] また、図 3 (al)は、前フレーム(図 3 (a) )の各画素の映像データを動きベクトルデー タに基づいて移動させることにより生成されるフレーム(以下、前方補償フレームと称 する。)である。さらに、図 3 (bl)は、現フレーム(図 3 (b) )の各画素の映像データを 動きベクトルデータに基づいて移動させることにより生成されるフレーム(以下、後方 補償フレームと称する。)である。
[0135] すなわち、前方補償フレーム(図 3 (al) )は、図 2で説明した前方補償映像データ F VDにより生成されるフレームであり、後方補償フレーム(図 3 (bl) )は、図 2で説明し
た後方補償映像データ RVDにより生成されるフレームである。また、図 3 (b)は現フレ ームであるので、現フレーム映像データ PVDにより生成されるフレームに相当する。 なお、図示していないが、平均映像データ AVD (図 2)により生成されるフレームにお いては、各画素の輝度は、前フレーム(図 3 (a) )の対応する画素の輝度および現フレ ーム(図 3 (b) )の対応する画素の輝度の平均値となる。
[0136] なお、本例においては、説明を簡略化するため、動きベクトル検出部 108は、 4 X 4 画素を 1ブロックとして動きベクトルを検出することとする。各画素の位置は XY座標で 示す。
[0137] 図 3の例では、前フレーム(図 3 (a) )においては、左上のブロック内の 8画素により に移動体 Aが表示され、 2画素によりキャラクタ C1が表示され、右下のブロック内の 5 画素によりキャラクタ C2が表示されている。また、現フレーム(図 3 (b) )においては、 左上のブロック内の 2画素によりキャラクタ C1が表示され、右下のブロック内の 7画素 により移動体 Aが表示され、 5画素によりキャラクタ C2が表示されて!/、る。
[0138] つまり、図 3においては、前フレームから現フレームにかけて、 8画素により構成され る移動体 Aが左上のブロックから右下のブロックに移動している。そして、現フレーム の右下のブロックにおいて、移動体 Aの一部((b)に示すフレームの(X, y) = (6, 5) の位置)がキャラクタ C2によって隠れている。なお、移動体 Aが表示されている領域 以外の画素の映像データは変化してレ、な!/、ものとする。
[0139] ここで、動きベクトル検出部 108により、前フレーム(図 3 (a) )と現フレーム(図 3 (b) ) との間で、左上のブロックの各画素の映像データが右下のブロックに移動したとする 動きベクトル (X方向に + 4および Y方向に + 4)が検出されたとする。
[0140] この場合、通常、前フレーム(図 3 (a) )と現フレーム(図 3 (b) )とを補間するフレーム は、前フレームの左上のブロックの各画素の映像データを X方向に + 2および Y方向 に + 2移動させる力、、あるいは現フレームの右下のブロックの各画素の映像データを X方向にー2および Y方向にー2移動させることにより生成される。
[0141] しかしな力 Sら、図 3の例においては、前フレームおよび現フレームにおいて、左上の ブロック内にキャラクタ C1が存在し、右下のブロック内にキャラクタ C2が存在する。そ のため、前フレームの左上のブロックの各画素の映像データを X方向に + 2および Y
方向に + 2移動させた場合、前方補償フレーム(図 3 (al) )において、本来移動すベ きではな!/、キャラクタおが移動体 Aとともに移動する。
[0142] また、現フレームの右下のブロックの各画素の映像データを X方向に 2および Y 方向にー2移動させた場合、後方補償フレーム(図 3 (bl) )において、本来移動すベ きではないキャラクタ C2が移動体 Aとともに移動する。
[0143] したがって、図 2で説明した後方補償映像データ RVD (後方補償フレーム)および 前方補償映像データ FVD (前方補償フレーム)をそのまま補間フレームの映像デー タとして用いた場合、本来移動すべきではないキャラクタ CI , C2が移動し、画質が 劣ィ匕することがある。
[0144] そこで、本実施の形態においては、キャラクタの表示位置に応じて、映像データ選 択部 91 (図 2)力 画素ごとに 4つの映像データ PVD, AVD, RVD, FVDの中から 1 つの映像データを選択し、映像出力部 110 (図 2)へ出力する。それにより、補間フレ ームの画質の劣化を防止して!/、る。
[0145] 以下、映像データ選択部 91による映像データの選択方法について説明する。まず 、キャラクタの表示位置に関するデータである 3つの領域データ PAD, RAD, FAD ( 図 2)について図面を用いて説明する。
[0146] 図 4は、領域データ PAD, RAD, FADを説明するための図である。
[0147] 図 4において、(a)は、前フレームの領域データが示す各画素の状態を表した概念 図であり、(b)は、現フレームの領域データが示す各画素の状態を表した概念図であ る。すなわち、図 4 (a)は遅延部 96 (図 2)から領域データ編集部 95 (図 2)に入力され る領域データが示す各画素の状態を概念的に表し、図 4 (b)は、マイクロコンピュータ 107 (図 2)力 領域データ編集部 95に入力される領域データおよび現フレーム領域 データ PAD (図 2)が示す各画素の状態を概念的に表している。
[0148] 図 4 (a)の例では、領域データは、(X, y) = (2, 3) , (3, 3) , (6, 5) , (6, 6) , (7, 5) , (7, 6) , (7, 7)の各画素がキャラクタを表示することを示し、これらの画素を除く 画素がキャラクタを表示しないことを示している。すなわち、本例の領域データは、前 フレーム(図 3 (a) )において、(X, y) = (2, 3) , (3, 3) , (6, 5) , (6, 6) , (7, 5) , (7 , 6) , (7, 7)の画素によりキャラクタが表示されることを示している。
[0149] 同様に、図 4(b)の例では、領域データは、(X, y) = (2, 3), (3, 3), (6, 5), (6, 6), (7, 5), (7, 6), (7, 7)の各画素がキャラクタを表示することを示し、これらの画 素を除く画素がキャラクタを表示しないことを示している。すなわち、本例の領域デー タ(現フレーム領域データ PAD)は、現フレーム(図 3(b))において、(X, y) = (2, 3) , (3, 3), (6, 5), (6, 6), (7, 5), (7, 6), (7, 7)の画素によりキャラクタが表示さ れることを示している。
[0150] また、図 4 (al)は、図 3 (al)と同様に、左上のブロック内の各画素の領域データを 図 4(a)に示す位置から X方向に + 2および Y方向に + 2移動させた場合に、領域デ ータが示す各画素の状態を概念的に表している。
[0151] さらに、図 4(bl)は、図 3 (bl)と同様に、右下のブロック内の各画素の領域データ を図 4(b)に示す位置から X方向に 2および Y方向に 2移動させた場合に、領域 データが示す各画素の状態を概念的に表している。
[0152] すなわち、図 4 (al)は、前フレームの領域データおよび動きベクトルデータに基づ いて生成される前方補償領域データ FAD (図 2)が示す各画素の状態を概念的に表 し、図 4(bl)は、現フレームの領域データおよび動きベクトルデータに基づいて生成 される後方補償領域データ RAD (図 2)が示す各画素の状態を概念的に表している
[0153] なお、図 4 (al)の例では、領域データは、(x, y) = (4, 5) , (5, 5)の画素がキャラ クタを表示することを示している。すなわち、本例の領域データ(前方補償領域デー タ FAD)は、前方補償フレーム(図 3 (al))において、(x, y) = (4, 5), (5, 5)の画 素によりキャラクタが表示されることを示して!/、る。
[0154] また、図 4 (bl)の例では、(X, y) = (4, 3), (4, 4), (5, 3), (5, 4), (5, 5)の画 素がキャラクタを表示することを示している。すなわち、本例の領域データ(後方補償 領域データ RAD)は、後方補償フレーム(図 3 (bl))において、(X, y) = (4, 3), (4 , 4), (5, 3), (5, 4), (5, 5)の画素によりキャラクタが表示されることを示している。
[0155] 以上のように、現フレーム領域データ PAD (図 2)は、現フレームのキャラクタ表示画 素を特定し、前方補償領域データ FAD (図 2)は、前方補償フレームのキャラクタ表 示画素を特定し、後方補償領域データ RAD (図 2)は、後方補償フレームのキャラク
タ表示画素を特定してレ、る。
[0156] 次に、映像データ選択部 91による映像データの選択方法について説明する。
[0157] 図 5は、映像データ選択部 91による映像データの選択処理を示すフローチャート である。なお、図 5のフローチャートに示す選択処理は、画素ごとに行われる。
[0158] 図 5に示すように、映像データ選択部 91は、まず、現フレーム領域データ PADがキ ャラクタの表示を示すデータ(以下、キャラクタ表示データと称する)であるか否かを判 別する(ステップ Sl)。
[0159] 現フレーム領域データ PADがキャラクタ表示データであると判別された場合、映像 データ選択部 91は、現フレーム映像データ PVD (図 2)を選択し、映像出力部 110 ( 図 2)へ出力する。
[0160] なお、図 3および図 4の例では、(X, y) = (2, 3) , (3, 3) , (6, 5) , (6, 6) , (7, 5) , (7, 6) , (7, 7)の画素について現フレーム領域データ PADがキャラクタ表示デー タであると判別される。
[0161] 例えば、(X, y) = (2, 3)の画素については、現フレーム領域データ PAD (図 4 (b) 参照)がキャラクタ表示データとなっている。この場合、現フレーム(図 3 (b) )において 、(X, y) = (2, 3)の画素によりキャラクタ C1の一部が表示されている。そのため、補 間フレーム(図 3 (c) )においても、(X, y) = (2, 3)の位置の画素によりキャラクタ C1 の一部が表示されることが好ましレ、と考えられる。
[0162] そこで、本実施の形態においては、映像データ選択部 91は、現フレーム映像デー タ PVD (図 2)を選択し、映像出力部 110 (図 2)へ出力する。すなわち、補間フレーム (図 3 (c) )の(X, y) = (2, 3)の位置の画素の映像データとして、現フレーム(図 3 (b) )の(X, y) = (2, 3)の位置の画素の映像データが用いられる。それにより、補間フレ ームにおいて、(X, y) = (2, 3)の画素によりキャラクタ C1の一部が表示される。
[0163] ステップ S 1にお!/、て現フレーム領域データ PADがキャラクタ表示データではな!/ヽ と判別された場合、映像データ選択部 91は、後方補償領域データ RADがキャラクタ 表示データであるか否力、を判別する (ステップ S 2)。
[0164] 後方補償領域データ RADがキャラクタ表示データであると判別された場合、映像 データ選択部 91は、前方補償領域データ FADがキャラクタ表示データであるか否か
を判別する(ステップ S3)。
[0165] 前方補償領域データ FADがキャラクタ表示データであると判別された場合、映像 データ選択部 91は、平均映像データ AVD (図 2)を選択し、映像出力部 110 (図 2) へ出力する。
[0166] なお、図 3および図 4の例では、(X, y) = (5, 5)の画素について前方補償領域デ ータ FADがキャラクタ表示データであると判別される。
[0167] (X, y) = (5, 5)の画素については、現フレーム領域データ PAD (図 4 (b)参照)は キャラクタ表示データではない。この場合、現フレーム(図 3 (b) )において、(X, y) = (5, 5)の画素によりキャラクタが表示されて!/、な!/、ので、補間フレーム(図 3 (c) )にお いても、(X, y) = (5, 5)の画素によりキャラクタが表示されないことが好ましいと考え られる。
[0168] しかしながら、前方補償領域データ FAD (図 4 (al)参照)および後方補償領域デ ータ RAD (図 4 (bl)参照)はキャラクタ表示データとなっている。つまり、前方補償フ レームおよび後方補償フレームにおいて、(X, y) = (5, 5)の画素によりキャラクタが 表示されている。なお、図 3 (al)においては、キャラクタ C1の一部が表示され、図 3 ( bl)においては、キャラクタ C2の一部が表示されている。したがって、前方補償映像 データ FVDまたは後方補償映像データ RVDを映像出力部 110へ出力した場合、補 間フレームにおいて、(X, y) = (5, 5)の画素によりキャラクタの一部が表示されること になる。
[0169] そこで、本実施の形態においては、映像データ選択部 91は、平均映像データ AV D (図 2)を選択し、映像出力部 110 (図 2)へ出力する。すなわち、補間フレーム(図 3 (c) )の(X, y) = (5, 5)の画素の輝度が、前フレーム(図 3 (a) )の(x, y) = (5, 5)の 画素の輝度および現フレーム(図 3 (b) )の(X, y) = (5, 5)の画素の輝度の平均値に 設定されている。
[0170] それにより、補間フレームにおいて、(X, y) = (5, 5)の画素によりキャラクタの一部 が表示されることを防止するとともに、画質が劣化することを防止している。
[0171] ステップ S3において、前方補償領域データ FADがキャラクタ表示データではない と判別された場合、映像データ選択部 91は、前方補償映像データ FVD (図 2)を選
択し、映像出力部 110 (図 2)へ出力する。
[0172] なお、図 3および図 4の例では、(X, y) = (4, 3) , (4, 4) , (5, 3) , (5, 4)の画素 につ!/、て前方補償領域データ FADがキャラクタ表示データではな!/、と判別される。
[0173] 例えば、(X, y) = (5, 4)の画素については、現フレーム領域データ PAD (図 4 (b) 参照)がキャラクタ表示データではない。この場合、現フレーム(図 3 (b) )において、 ( X, y) = (5, 4)の画素によりキャラクタが表示されていないので、補間フレーム(図 3 ( c) )においても、(X, y) = (5, 4)の画素によりキャラクタが表示されないことが好まし いと考えられる。
[0174] しかしながら、後方補償領域データ RAD (図 4 (bl)参照)はキャラクタ表示データと なっている。つまり、後方補償フレームにおいて、(X, y) = (5, 4)の画素によりキャラ クタが表示されている。なお、図 3 (bl)においては、キャラクタ C2の一部が表示され ている。したがって、後方補償映像データ RVDを映像出力部 110へ出力した場合、 補間フレームにおいて、(X, y) = (5, 4)の画素によりキャラクタの一部が表示される ことになる。
[0175] そこで、本実施の形態においては、映像データ選択部 91は、前方補償映像データ
FVD (図 2)を選択し、映像出力部 110 (図 2)へ出力する。すなわち、補間フレーム( 図 3 (c) )の (X, y) = (5, 4)の画素の映像データとして、前方補償フレーム(図 3 (al)
)の(X, y) = (5, 4)の画素の映像データが用いられる。
[0176] それにより、補間フレームにおいて(X, y) = (5, 4)の画素によりキャラクタの一部が 表示されることを防止しつつ、適切な動き補償を行うことができる。
[0177] ステップ S2において、後方補償領域データ RADがキャラクタ表示データではない と判別された場合、映像データ選択部 91は、前方補償領域データ FADがキャラクタ 表示データであるか否かを判別する (ステップ S4)。
[0178] 前方補償領域データ FADがキャラクタ表示データであると判別された場合、映像 データ選択部 91は、後方補償領域データ RAD (図 2)を選択し、映像出力部 110 ( 図 2)へ出力する。
[0179] なお、図 3および図 4の例では、(X, y) = (4, 5)の画素について前方補償領域デ ータ FADがキャラクタ表示データであると判別される。
[0180] (x, y) = (4, 5)の画素については、現フレーム領域データ PAD (図 4 (b)参照)は キャラクタ表示データではない。この場合、現フレーム(図 3 (b) )において、(X, y) = (4, 5)の画素によりキャラクタが表示されて!/、な!/、ので、補間フレーム(図 3 (c) )にお いても、(X, y) = (4, 5)の画素によりキャラクタが表示されないことが好ましいと考え られる。
[0181] しかしながら、前方補償領域データ FAD (図 4 (al)参照)はキャラクタ表示データと なっている。つまり、前方補償フレームにおいて、(X, y) = (4, 5)の画素によりキャラ クタが表示されている。なお、図 3 (al)においては、キャラクタ C1の一部が表示され ている。したがって、前方補償映像データ FVDを映像出力部 110へ出力した場合、 補間フレームにおいて、(X, y) = (4, 5)の画素によりキャラクタの一部が表示される ことになる。
[0182] そこで、本実施の形態においては、映像データ選択部 91は、後方補償映像データ RVD (図 2)を選択し、映像出力部 110 (図 2)へ出力する。すなわち、補間フレーム( 図 3 (c) )の (X, y) = (4, 5)の画素の映像データとして、後方補償フレーム(図 3 (bl) )の(X, y) = (4, 5)の画素の映像データが用いられる。
[0183] それにより、補間フレームにおいて(X, y) = (4, 5)の画素によりキャラクタの一部が 表示されることを防止しつつ、適切な動き補償を行うことができる。
[0184] ステップ S4において、前方補償領域データ FADがキャラクタ表示データではない と判別された場合、映像データ選択部 91は、前方補償映像データ FVD (図 2)を選 択し、映像出力部 110 (図 2)へ出力する。
[0185] なお、図 3および図 4の例では、上記で説明した(X, y) = (2, 3) , (3, 3) , (6, 5) ,
(6, 6) , (7, 5) , (7, 6) , (7, 7) , (5, 5) , (4, 3) , (4, 4) , (5, 3) , (5, 4) , (4, 5 )以外の画素について前方補償領域データ FADがキャラクタ表示データではないと 判別される。
[0186] 例えば、(X, y) = (3, 2)の画素については、現フレーム領域データ PAD (図 4 (b) 参照)はキャラクタ表示データではない。この場合、現フレーム(図 3 (b) )において、 ( X, y) = (3, 2)の画素によりキャラクタが表示されていないので、補間フレーム(図 3 ( c) )においても、(X, y) = (3, 2)の画素によりキャラクタが表示されないことが好まし
いと考えられる。
[0187] ここで、(X, y) = (3, 2)の画素については、前方補償領域データ FAD (図 4 (al) 参照)および後方補償領域データ RAD (図 4 (bl)参照)の!/、ずれもキャラクタ表示デ ータではない。つまり、前方補償フレーム(図 3 (al) )および後方補償フレーム(図 3 ( bl) )のいずれにおいても、(X, y) = (3, 2)の画素によりキャラクタは表示されていな い。
[0188] そこで、本実施の形態においては、映像データ選択部 91は、前方補償映像データ FVD (図 2)を選択し、映像出力部 110 (図 2)へ出力する。すなわち、補間フレーム( 図 3 (c) )の (X, y) = (3, 2)の画素の映像データとして、前方補償フレーム(図 3 (al) )の(X, y) = (3, 2)の画素の映像データが用いられる。それにより、適切な動き補償 を fiうこと力 Sできる。
[0189] なお、図 5のフローチャートでは、ステップ S4において、前方補償領域データ FAD がキャラクタ表示データではないと判別された場合、映像データ選択部 91は、前方 補償映像データ FVD (図 2)を選択して!/、る力 後方補償映像データ RVDを選択し てもよい。
[0190] つまり、ステップ S4において、前方補償領域データ FADがキャラクタ表示データで はないと判別された場合には、通常の動き補償と同様に、前フレームの映像データと 動きベクトルとにより補間フレームを生成してもよぐ現フレームの映像データと動きべ タトルとにより補間フレームを生成してもよい。
[0191] (C)本実施の形態の効果
以上のように、本実施の形態においては、動き補償部 109によるフレームレート変 換処理前に、合成部 106において映像データにキャラクタデータが合成される。つま り、フレーム数 (フレーム周波数)が増加する前に、映像データにキャラクタデータが 合成される。それにより、フレームレート変換処理後の映像データにキャラクタデータ を合成する場合に比べて、データ処理速度の高くないマイクロコンピュータ 107を用 いて映像データとキャラクタデータとを合成することができる。したがって、高性能の マイクロコンピュータ 107を設ける必要がないので、テレビジョン受像機 100の製品コ ストを低減することができる。
[0192] また、本実施の形態においては、現フレームにおいてキャラクタが表示されている 領域においては、補間フレームにおいてもキャラクタを表示し、現フレームにおいて キャラクタが表示されてレヽなレヽ領域にお!/、ては、補間フレームにお!/ヽてもキャラクタを 表示しない。また、後方補償フレームおよび前方補償フレームのどちらにおいてもキ ャラクタが表示されている領域においては、その領域の輝度を、現フレームの輝度と 前フレームの輝度との平均値に設定している。さらに、後方補償フレームのみにおい てキャラクタが表示されてレ、る領域にぉレ、ては、前方補償フレームの映像データを用 い、前方補償フレームのみにおいてキャラクタが表示されている領域においては、後 方補償フレームの映像データを用いる。
[0193] この場合、補間フレームにおいて本来移動すべきではないキャラクタが移動するこ とを防止することができるとともに、キャラクタが表示されるべき領域に他の映像が表 示されることを防止すること力 Sできる。すなわち、補間フレームにおいて、適切な位置 にキャラクタを表示することができる。
[0194] 以上の結果、安価な構成で高精度の動き補償を実現することが可能となる。
[0195] (D)他の例
上記の例では、映像データ編集部 92およびベクトル参照データ編集部 93にそれ ぞれ 2つのフレームメモリを設けている力 S、映像データ編集部 92およびベクトル参照 データ編集部 93に共通の 2つのフレームメモリを動き補償部 109内に設けてもよい。
[0196] 図 6は、動き補償部 109の他の例を示すブロック図である。図 6に示す動き補償部 1
09においては、映像データ編集部 92およびベクトル参照データ編集部 93にそれぞ れ 2つのフレームメモリを設ける代わりに、 2つのフレームメモリ 97, 98が設けられて いる。
[0197] 図 6の動き補償部 109においては、合成部 106から出力された映像データは、フレ ームメモリ 97および遅延部 94に入力される。遅延部 94は、入力された映像データを 1フレーム分遅延させてフレームメモリ 98へ出力する。すなわち、フレームメモリ 97に は現フレームの映像データが記憶され、フレームメモリ 98には前フレームの映像デ ータが記憶される。
[0198] 映像データ編集部 92は、フレームメモリ 97に記憶された現フレームの映像データ
をそのまま現フレーム映像データ PVDとして映像データ選択部 91へ出力するととも に、フレームメモリ 97に記憶された現フレームの映像データおよびフレームメモリ 98 に記憶された前フレームの映像データから平均映像データ AVDを生成し、映像デ ータ選択部 91へ出力する。
[0199] ベクトル参照データ編集部 93は、フレームメモリ 97に記憶された現フレームの映像 データおよび動きベクトル検出部 108から出力される動きベクトルデータに基づいて 後方補償映像データ RVDおよび前方補償映像データ FVDを生成し、映像データ 選択部 91へ出力する。
[0200] 以上のように、図 6の動き補償部 109においては、映像データ編集部 92およびべク トル参照データ編集部 93に共通の 2つのメモリ 97, 98が設けられているので、映像 データ編集部 92およびベクトル参照データ編集部 93にフレームメモリを設ける必要 がない。それにより、テレビジョン受像機 100の製品コストを低減することができる。
[0201] なお、図 2の映像データ編集部 92、ベクトル参照データ編集部 93および領域デー タ編集部 95にそれぞれ設けられるフレームメモリならびに図 6のフレームメモリ 97, 9 8の代わりに、ラインメモリを用いてもよい。この場合、テレビジョン受像機 100の製品 コストをさらに低減することができる。
[0202] また、上記の例では、現フレームにおいてキャラクタが表示されていない領域にお V、ては補間フレームにお!/、てもキャラクタを表示して!/、な!/、が、現フレームにお!/、て キャラクタが表示されてレヽなレ、が前フレームにお!/、てキャラクタが表示されて!/、る領 域にお!/、ては、補間フレームにお!/、てキャラクタを表示してもよ!/、。
[0203] また、上記の例では、現フレームのいずれかの画素においてキャラクタが表示され る場合には、その画素に対応する補間フレームの画素の映像データとして現フレー ム映像データ PVD (図 2)が用いられている力 S、補間フレームの他の画素の映像デー タとしても現フレーム映像データ PVDを用いてもよい。すなわち、現フレームにおい てキャラクタが表示される場合には、補間フレームの全ての画素の映像データとして 現フレーム映像データ PVDを用いてもよ!/、。
[0204] この場合、現フレームにお!/、てキャラクタが表示される場合には、移動ベクトルに基 づく補間フレームの生成が行われない。それにより、補間フレームにおいて本来移動
すべきではな!/、キャラクタが動きベクトルに基づ!/、て移動することが確実に防止され る。その結果、補間フレームにおいて、適切な位置にキャラクタを表示することができ
[0205] なお、この場合、動き補償部 109は、マイクロコンピュータ 107力、らキャラクタデータ が出力された場合に、合成部 106から出力される現フレームの映像データをそのまま 補間フレームの映像データとして映像出力部 110へ出力する。
[0206] また、現フレームにおいてキャラクタが表示される場合に、補間フレームの全ての画 素の映像データとして平均映像データ AVD (図 2)または前フレームの映像データを 用いてもよい。
[0207] この場合も上記の場合と同様に、現フレームにおいてキャラクタが表示される場合 には、移動ベクトルに基づく補間フレームの生成が行われない。それにより、補間フ レームにお!/、て本来移動すべきではな!/、キャラクタが動きベクトルに基づ!/、て移動す ることが確実に防止される。その結果、補間フレームにおいて、適切な位置にキャラク タを表示すること力できる。
[0208] なお、この場合、動き補償部 109は、マイクロコンピュータ 107力、らキャラクタデータ が出力された場合に、平均映像データ AVDまたは前フレームの映像データを補間 フレームの映像データとして映像出力部 110へ出力する。
[0209] また、キャラクタの一部を透過状態で表示してもよレ、。この場合、マイクロコンピュー タ 107において、非透過状態のキャラクタが表示される領域を示す領域データと、透 過状態のキャラクタが表示される領域を示す領域データとを生成する。領域データが 透過状態でのキャラクタの表示を示してレ、る場合には、キャラクタデータの値と映像 データの値とを所定の比率で加算したデータが合成部 106または動き補償部 109に おいて生成される。
[0210] (2)第 2の実施の形態
第 2の実施の形態に係るテレビジョン受像機が第 1の実施の形態に係るテレビジョ ン受像機 100と異なるのは以下の点である。
[0211] 図 7は、第 2の実施の形態に係るテレビジョン受像機 100の構成を示すブロック図で ある。
[0212] 図 7に示すように、本実施の形態に係るテレビジョン受像機 100においては、 AVデ コーダ 104は、音声データを音声出力部 105 出力し、映像データを合成部 106お よび動きベクトル検出部 108 出力する。
[0213] マイクロコンピュータ 107は、キャラクタデータを生成し、生成したキャラクタデータを 合成部 106 出力する。
[0214] マイクロコンピュータ 107がキャラクタデータを出力している場合、合成部 106は、 A Vデコーダ 104から出力された映像データにキャラクタデータを合成する。そして、キ ャラクタデータが合成された映像データを動き補償部 109へ出力する。
[0215] マイクロコンピュータ 107がキャラクタデータを出力していない場合、合成部 106は
AVデコーダ 104から出力された映像データをそのまま動き補償部 109 出力する
[0216] 動きベクトル検出部 108は、 AVデコーダ 104から出力された映像データに基づい て所定のブロック(例えば、 8 X 8画素の画素領域)ごとに動きベクトルを検出し、各画 素の動きベクトルデータを動き補償部 109 出力する。動きベクトルの検出方法につ いては後述する。
[0217] 動き補償部 109は、動きベクトル検出部 108から出力された動きベクトルデータに 基づいて、合成部 106から出力された映像データに対しフレームレート変換処理を 施す。
[0218] 以上のように、本実施の形態においては、 AVデコーダ 104から出力される映像デ ータは、合成部 106と動きベクトル検出部 108とに入力される。したがって、動きべク トル検出部 108は、キャラクタデータが合成されていない映像データに基づいて動き ベタ卜 を検出することカでさる。
[0219] 以下、合成部 106においてキャラクタデータが合成された映像データ(以下、合成 映像データと称する)と、キャラクタデータが合成されていない映像データ(以下、単 純映像データと称する)とを比較しながら、動きベクトルの検出方法について説明す
[0220] 図 8は、図 7の動きベクトル検出部 108による動きベクトルの検出方法を説明するた めの図である。
[0221] 図 8において、(a)は、合成映像データに基づいて生成される前フレームの一部領 域(8 X 8画素の画素領域)を示し、(b)は、合成映像データに基づいて生成される現 フレームの一部領域を示している。また、(c)は、(a)に示すフレームの単純映像デー タすなわち前フレームの単純映像データに基づいて生成されるフレームの一部領域 を示し、(d)は、(b)に示すフレームの単純映像データすなわち現フレームの単純映 像データに基づレ、て生成されるフレームの一部領域を示して!/、る。
[0222] なお、本例においても、説明を簡略化するため、動きベクトル検出部 108は、 4 X 4 画素を 1ブロックとして動きベクトルを検出することとする。また、図 8 (a)は図 3 (a)と等 しぐ図 8 (b)は図 3 (b)と等しい。
[0223] ここで、上述したように、本実施の形態においては、動きベクトル検出部 108 (図 7) には、単純映像データが入力される。したがって、テレビジョン受像機 100の画面上 に図 8 (a)および図 8 (b)に示すフレームが表示される場合、動きベクトル検出部 108 は、単純映像データ(図 8 (c)および図 8 (d)に示すフレームのデータ)に基づ!/、て動 きベクトルを検出する。
[0224] 図 8の例では、動きベクトル検出部 108 (図 7)は、図 8 (c)および(d)に示す移動体 Aの動きに基づいて、左上のブロックの各画素の映像データが右下のブロックに移動 したとする動きベクトル (X方向に + 4および Y方向に + 4)を検出することができる。
[0225] 以上のように、本実施の形態においては、動き補償部 109によるフレームレート変 換処理前に、合成部 106において映像データにキャラクタデータが合成される。つま り、フレーム数が増加する前に、映像データにキャラクタデータが合成される。それに より、フレームレート変換処理後の映像データにキャラクタデータを合成する場合に 比べて、データ処理速度の高くないマイクロコンピュータ 107を用いて映像データと キャラクタデータとを合成することができる。したがって、高性能のマイクロコンピュー タ 107を設ける必要がないので、テレビジョン受像機 100の製品コストを低減すること ができる。
[0226] また、動きベクトル検出部 108は、キャラクタデータが合成されていない映像データ に基づいて動きベクトルを検出する。つまり、キャラクタを考慮せずに動きベクトルを 検出すること力 Sできる。それにより、本来キャラクタによって隠れる領域(図 8において
は、(b)に示すフレームの(x, y) = (6, 5)の位置)に存在する映像部分についても、 前フレームと現フレームとの間で正確にマッチングを行うことができる。その結果、前 フレームと現フレームとの間で、動きベクトルを高精度で検出することが可能となる。
[0227] したがって、キャラクタデータが合成された映像データに対してフレームレート変換 処理を施す場合においても、前フレームと現フレームとの間で正確にマッチングを行 うこと力 Sでさる。
[0228] 以上の結果、安価な構成で高精度の動き補償を実現することが可能となる。
[0229] 本実施の形態によれば、例えば、現フレーム(図 8 (b) )の右下のブロック内の全て の画素によりキャラクタが表示されている場合においても、移動体 A (図 8)について、 前フレーム(図 8 (a) )と現フレーム(図 8 (b) )との間で正確にマッチングを行うことがで きる。
[0230] (2— 1)第 2の実施の形態の他の例
図 9は、第 2の実施の形態に係るテレビジョン受像機の他の例の構成を示すブロッ ク図である。
[0231] 図 9のテレビジョン受像機 100においては、図 1のテレビジョン受像機 100と同様に 、マイクロコンピュータ 107が領域データを生成し、生成した領域データを動き補償 部 109へ出力する。
[0232] また、動き補償部 109は、動きベクトル検出部 108から出力された動きベクトルデー タおよびマイクロコンピュータ 107から出力された領域データに基づいて、合成部 10 6から出力された映像データに対しフレームレート変換処理を施す。
[0233] この場合、動き補償部 109は、領域データに基づいて、現フレームまたは前フレー ムにお!/、てキャラクタが表示されて!/、る領域につ!/、ては、動きべクトノレデータを用いる ことなく補間フレームのデータを生成することができる。それにより、キャラクタ表示領 域の周辺における映像のぶれを防止することができる。その結果、より高精度な動き 補償を実現することができる。
[0234] (3)第 3の実施の形態
第 3の実施の形態に係るテレビジョン受像機が第 1の実施の形態に係るテレビジョ ン受像機 100 (図 1および図 7)と異なるのは以下の点である。なお、第 3の実施の形
態に係るテレビジョン受像機の構成は、図 9のテレビジョン受像機 100と同様である。
[0235] 図 9に示すように、第 3の実施の形態に係るテレビジョン受像機 100においては、 A
Vデコーダ 104は、音声データを音声出力部 105 出力し、映像データを合成部 10
6および動きベクトル検出部 108 出力する。
[0236] マイクロコンピュータ 107がキャラクタデータを出力している場合、合成部 106は、 A
Vデコーダ 104から出力された映像データにキャラクタデータを合成する。そして、キ ャラクタデータが合成された映像データを動き補償部 109 出力する。
[0237] マイクロコンピュータ 107がキャラクタデータを出力していない場合、合成部 106は
AVデコーダ 104から出力された映像データをそのまま動き補償部 109 出力する
[0238] 動きベクトル検出部 108は、 AVデコーダ 104から出力された映像データに基づい て所定のブロック(例えば、 8 X 8画素の画素領域)ごとに動きベクトルを検出し、各画 素の動きベクトルデータを動き補償部 109 出力する。なお、動きベクトル検出部 10 8による動きベクトルの検出方法は、第 2の実施の形態において説明した方法(図 8 参照)と同様である。
[0239] 動き補償部 109は、動きベクトル検出部 106から出力された動きベクトルデータおよ びマイクロコンピュータ 108から出力された領域データに基づいて、合成部 107から 出力された映像データに対しフレームレート変換処理を施す。なお、フレームレート 変換処理においては、動き補償部 109は、図 2〜図 5で説明した処理と同様の処理 を行うものとする。
[0240] 以上のように、本実施の形態に係るテレビジョン受像機 100は、第 1および第 2の実 施の形態に係るテレビジョン受像機 100の構成を組み合わせた構成を有する。
[0241] すなわち、動き補償部 109によるフレームレート変換処理前に、合成部 106におい て映像データにキャラクタデータが合成される。つまり、フレーム数が増加する前に、 映像データにキャラクタデータが合成される。それにより、フレームレート変換処理後 の映像データにキャラクタデータを合成する場合に比べて、データ処理速度の高くな いマイクロコンピュータ 107を用いて映像データとキャラクタデータとを合成することが できる。したがって、高性能のマイクロコンピュータ 107を設ける必要がないので、テ
レビジョン受像機 100の製品コストを低減することができる。
[0242] また、現フレームにおいてキャラクタが表示されている領域においては、補間フレー ムにお!/、てもキャラクタを表示し、現フレームにお!/、てキャラクタが表示されて!/ヽなレヽ 領域においては、補間フレームにおいてもキャラクタを表示しない。また、後方補償フ レームおよび前方補償フレームのどちらにおいてもキャラクタが表示されている領域 においては、その領域の輝度を、現フレームの輝度と前フレームの輝度との平均値 に設定している。さらに、後方補償フレームのみにおいてキャラクタが表示されている 領域においては、前方補償フレームの映像データを用い、前方補償フレームのみに ぉレ、てキャラクタが表示されてレ、る領域にぉレ、ては、後方補償フレームの映像データ を用いる。
[0243] この場合、補間フレームにおいて本来移動すべきではないキャラクタが移動するこ とを防止することができるとともに、キャラクタが表示されるべき領域に他の映像が表 示されることを防止すること力 Sできる。すなわち、補間フレームにおいて、適切な位置 にキャラクタを表示することができる。
[0244] また、動きベクトル検出部 108は、キャラクタデータが合成されていない映像データ に基づいて動きベクトルを検出する。つまり、キャラクタを考慮せずに動きベクトルを 検出すること力 Sできる。それにより、本来キャラクタによって隠れる領域に存在する映 像部分にっレ、ても、前フレームと現フレームとの間で正確にマッチングを行うことがで きる。その結果、前フレームと現フレームとの間で、動きベクトルを高精度で検出する ことが可能となる。
[0245] したがって、キャラクタデータが合成された映像データに対してフレームレート変換 処理を施す場合においても、前フレームと現フレームとの間で正確にマッチングを行 うこと力 Sでさる。
[0246] 以上の結果、安価な構成でより高精度の動き補償を実現することが可能となる。
[0247] (4)第 4の実施の形態
第 4の実施の形態に係るテレビジョン受像機が第 1の実施の形態に係るテレビジョ ン受像機 100と異なるのは以下の点である。
[0248] 図 10は、第 4の実施の形態に係るテレビジョン受像機の動き補償部 109の主要部
の構成を示すブロック図である。
[0249] 図 10に示すように、本実施の形態においては、動き補償部 109は、映像データ選 択部 91、映像データ編集部 92、ベクトル参照データ編集部 93、遅延部 94、および 領域データ合成部 99を含む。
[0250] 本実施の形態においては、合成部 106から出力された映像データおよびマイクロコ ンピュータ 107から出力された領域データは領域データ合成部 99に入力される。
[0251] 動きベクトル検出部 108から出力された動きベクトルデータは、ベクトル参照データ 編集部 93に入力される。
[0252] 領域データ合成部 99は、合成部 106から出力された映像データにマイクロコンピュ ータ 107から出力された領域データを合成する。また、領域データ合成部 99は、領 域データが合成された映像データを、映像データ編集部 92の一方のフレームメモリ
、ベクトル参照データ編集部 93の一方のフレームメモリおよび遅延部 94へ出力する
[0253] 遅延部 94は、入力された映像データを 1フレーム分遅延させて映像データ編集部
92の他方のフレームメモリおよびベクトル参照データ編集部 93の他方のフレームメ モリへ出力する。
[0254] ここで、本実施の形態においては、上述したように、領域データ合成部 99において 映像データに領域データが合成される。したがって、映像データ編集部 92からは、 現フレーム映像データ PVD (図 2参照)とともに現フレーム領域データ PAD (図 2参 照)が出力される。
[0255] また、ベクトル参照データ編集部 93においては、領域データが合成された映像デ ータに対して動き補償が行われる。したがって、ベクトル参照データ編集部 93からは 、後方補償映像データ RVD (図 2参照)とともに後方補償領域データ RAD (図 2参照 )が出力され、前方補償映像データ FVD (図 2参照)とともに前方補償領域データ FA D (図 2参照)が出力される。
[0256] 映像データ選択部 91は、上記 3つの領域データ PAD, RAD, FADに基づいて、 図 5で説明した方法と同様の方法で、各画素について、 4つの映像データ PVD, AV D, RVD, FVDのうち 1つの映像データを選択し、映像出力部 110 (図 2参照)へ出
力する。
[0257] 以上のように、本実施の形態においては、領域データ合成部 99において映像デー タに領域データが合成される。この場合、ベクトル参照データ編集部 93において後 方補償領域データ RADおよび前方補償領域データ FADを生成することができる。 したがって、領域データ編集部 95および遅延部 96を設ける必要がない。それにより 、テレビジョン受像機の構成を簡略化できるとともに、製品コストを低減することができ
[0258] (5)第 5の実施の形態
第 5の実施の形態に係るテレビジョン受像機が第 3の実施の形態に係るテレビジョ ン受像機 100 (図 9)と異なるのは以下の点である。なお、第 5の実施の形態において は、ディスプレイパネル上に 2つの画面が表示されている状態(例えば、図 15および 図 16に示すように主画面 1002および副画面 1003が表示されている状態)でフレー ムレート変換処理を行う場合について説明する。以下、図 15および図 16を参照しな 力 ¾本実施の形態に係るテレビジョン受像機 100について説明する。
[0259] 図 11は、第 5の実施の形態に係るテレビジョン受像機 100の構成を示すブロック図 である。
[0260] 図 11に示すように、本実施の形態に係るテレビジョン受像機 100は、図 9の選局部
101、復調部 102、 TSデコーダ 103および AVデコーダ 104と同様の構成を有する 選局部 101a、復調部 102a、 TSデコーダ 103a、および AVデコーダ 104aを含む。
[0261] アンテナ 901から選局部 101aに入力される放送信号は、復調部 102aおよび TSデ コーダ 103aを介して音声ストリームおよび映像ストリームとして AVデコーダ 104aに 入力される。
[0262] AVデコーダ 104aは、入力された音声ストリームおよび映像ストリームを復号し、音 声データおよび映像データを生成する。また、 AVデコーダ 104aは、生成した音声 データを音声出力部 105へ出力し、映像データを合成部 106へ出力する。
[0263] 音声出力部 105は、 AVデコーダ 104から出力された音声データおよび AVデコー ダ 104aから出力された音声データのいずれかを選択し、音声として出力する。
[0264] 合成部 106は、 AVデコーダ 104から出力された映像データに AVデコーダ 104a
から出力された映像データを合成し、合成された映像データを動き補償部 109へ出 力する。
[0265] なお、合成部 106において合成された映像データがディスプレイパネル上に表示さ れる場合には、例えば、図 15および図 16に示すように、 AVデコーダ 104から出力さ れた映像データに基づく映像がディスプレイパネル 1001の全面に主画面 1002とし て表示され、 AVデコーダ 104aから出力された映像データに基づく映像が主画面 10 02上の一部領域に副画面 1003として表示される。
[0266] マイクロコンピュータ 107は、領域データを生成し、生成した領域データを動き補償 部 109へ出力する。なお、マイクロコンピュータ 107において生成される領域データ は、副画面 1003が表示される領域を示す情報であり、画素ごとにその画素が副画面 1003の一部が表示される領域であるか否かを示している。
[0267] 動き補償部 109は、動きベクトル検出部 108から出力された動きベクトルデータおよ びマイクロコンピュータ 107から出力された領域データに基づいて、合成部 106から 出力された映像データに対しフレームレート変換処理を施す。なお、フレームレート 変換処理においては、動き補償部 109は、図 2〜図 5で説明した処理と同様の処理 を行うものとする。
[0268] 以上のように、本実施の形態においては、動きベクトル検出部 108は、 AVデコーダ 104から出力される映像データに基づいて動きベクトルを検出する。それにより、主 画面 1002において、副画面 1003により隠れる領域に存在する映像部分についても 、前フレームと現フレームとの間で正確にマッチングを行うことができる。その結果、主 画面 1002において、前フレームと現フレームとの間で動きベクトルを高精度で検出 すること力 Sでさる。
[0269] また、本実施の形態においては、主画面 1002の現フレームにおいて副画面 1003 が表示される領域については、補間フレームにおいても副画面が表示される。また、 主画面 1002の後方補償フレームおよび前方補償フレームのどちらにおいても副画 面 1003が表示されている画素の輝度は、主画面 1002の現フレームの輝度と前フレ ームの輝度との平均値に設定される。さらに、主画面 1002の後方補償フレームのみ において副画面 1003が表示されている画素については、前方補償フレームの映像
データが用いられ、前方補償フレームのみにお!/、て副画面 1003が表示されて!/、る 画素については、後方補償フレームの映像データが用いられる。
[0270] この場合、主画面 1002上で本来移動すべきではない副画面 1003が移動すること を防止することができるとともに、副画面 1003が表示されるべき領域に主画面 1002 の映像が表示されることを防止することができる。すなわち、補間フレームにおいて、 適切な位置に副画面 1003を表示することができる。
[0271] 以上の結果、高精度な動き補償を実現することができ、高画質の映像を安定して提 供すること力 S可倉 となる。
[0272] なお、上記の例においては、 AVデコーダ 104から出力される映像データについて 動きベクトル検出部 108が動きベクトルを検出している力 さらに他の動きベクトル検 出部を設け、 AVデコーダ 104aから出力される映像データについても動きベクトルを 検出してもよい。この場合、副画面 1003に表示される映像についても動き補償を行 うことができるので、映像のさらなる高画質化が可能となる。
[0273] (6)第 6の実施の形態
第 6の実施の形態に係るテレビジョン受像機が第 5の実施の形態に係るテレビジョ ン受像機 100 (図 11)と異なるのは以下の点である。
[0274] 図 12は、第 6の実施の形態に係るテレビジョン受像機 100の構成を示すブロック図 である。
[0275] 図 12に示すように、本実施の形態に係るテレビジョン受像機 100においては、動き ベクトル検出部 108は、合成部 106から出力される映像データに基づいて動きべタト ルを検出する。
[0276] 動き補償部 109は、動きベクトル検出部 108から出力された動きベクトルデータおよ びマイクロコンピュータ 107から出力された領域データに基づいて、合成部 106から 出力された映像データに対しフレームレート変換処理を施す。なお、フレームレート 変換処理においては、動き補償部 109は、図 2〜図 5で説明した処理と同様の処理 を行うものとする。
[0277] この場合、現フレームにおいて副画面 1003 (図 15参照)が表示されている領域に おいては、補間フレームにおいても副画面 1003を表示され、現フレームにおいて副
画面 1003が表示されていない領域においては、補間フレームにおいても副画面 10 03を表示されない。また、後方補償フレームおよび前方補償フレームのどちらにお いても副画面 1003が表示されている領域においては、その領域の輝度が、現フレ ームの輝度と前フレームの輝度との平均値に設定される。さらに、後方補償フレーム のみにおいて副画面 1003が表示されている領域においては、前方補償フレームの 映像データが用いられ、前方補償フレームのみにおいて副画面 1003が表示されて V、る領域にお!/、ては、後方補償フレームの映像データを用いられる。
[0278] したがって、補間フレームにおいて本来移動すべきではない副画面 1003が移動 することを防止すること力 Sできるとともに、副画面 1003が表示されるべき領域に他の 映像が表示されることを防止することができる。すなわち、補間フレームにおいて、適 切な位置に副画面 1003を表示することができる。
[0279] 以上の結果、安価な構成で高精度の動き補償を実現することが可能となる。
[0280] なお、領域データが副画面 1003の外形線を含む一部領域(例えば、副画面 1003 の外枠部分)を示してもよい。この場合、副画面 1003内の上記一部領域を除く領域 については、主画面 1002内の映像と同様に通常の動き補償が行われる。それにより 、本来移動すべきではない主画面 1002と副画面 1003との境界部分が移動すること を防止しつつ、高精度な動き補償を実現することができる。
[0281] (7)第 7の実施の形態
第 7の実施の形態に係るテレビジョン受像機が第 3の実施の形態に係るテレビジョ ン受像機 100 (図 9)と異なるのは以下の点である。
[0282] 図 13は、第 7の実施の形態に係るテレビジョン受像機 100の構成を示すブロック図 である。
[0283] 図 13に示すように、本実施の形態に係るテレビジョン受像機 100は、映像補正部 1 11をさらに含む。本実施の形態においては、マイクロコンピュータ 107は、領域デー タを動き補償部 109および映像補正部 11 1へ出力する。また、動き補償部 109は、フ レームレート変換処理後の映像データを映像補正部 111へ出力する。
[0284] 映像補正部 111は、動き補償部 109から出力される映像データに対して映像補正 処理を施し、映像補正処理後の映像データを映像出力部 110へ出力する。
[0285] 詳細には、映像補正部 111は、各フレームの映像において、領域データによって 特定されるキャラクタ表示領域以外の領域の映像に対して映像補正処理を施す。し たがって、例えば、現フレームにおいてキャラクタが表示される場合には、現フレーム および補間フレームにおいては、キャラクタ以外の映像についてのみ映像補正が行 われる。
[0286] なお、映像補正部 111は、図 2に示す領域データ編集部 95および遅延部 96を備 え、現フレーム領域データ PAD (図 2)、後方補償領域データ RAD (図 2)、および前 方補償領域データ FAD (図 2)を生成することができる。また、映像補正部 111は、そ れらの領域データに基づいて各フレームのキャラクタ表示領域を特定することができ
[0287] このように、本実施の形態においては、動き補償部 109から出力される映像データ のうちキャラクタデータ以外の映像データに対してのみ補正処理が施される。この場 合、キャラクタ表示領域を有するフレームの映像補正を行う際に、補正後のキャラクタ 以外の映像にキャラクタの映像要素 (輝度および色等)が反映されることを防止するこ とができる。それにより、本来補正されるべき映像 (キャラクタ以外の映像)の画質が低 下することを防止すること力 Sできる。
[0288] また、キャラクタについては映像補正が行われないので、キャラクタ以外の映像の 映像要素が映像補正後のフレームのキャラクタに反映されることが防止される。それ により、キャラクタの画質が低下することを防止することができる。
[0289] 以上の結果、各フレームの映像の画質が低下することを確実に防止することができ
[0290] 以下、一例を挙げて映像補正部 111において行われる映像補正について詳細に 説明する。
[0291] 図 14は、映像補正部 111の一例を示すブロック図である。
[0292] 図 14に示すように、映像補正部 111は、第 1の補正部 11、第 2の補正部 12および 特徴量抽出部 13を含む。
[0293] 動き補償部 109から出力された映像データは、第 1の補正部 11および特徴量抽出 部 13に入力される。また、マイクロコンピュータ 107から出力された領域データは、第
1の補正部 11、第 2の補正部 12および特徴量抽出部 13に入力される。
[0294] なお、図示していないが、図 14に示す映像補正部 111は、領域データ編集部 95 ( 図 2)および遅延部 96 (図 2)を備える。また、第 1の補正部 11、第 2の補正部 12およ び特徴量抽出部 13には、領域データとして現フレーム領域データ PAD (図 2)、後方 補償領域データ RAD (図 2)、および前方補償領域データ FAD (図 2)のうちの!/、ず れかが入力される。
[0295] 特徴量抽出部 13は、動き補償部 109から出力される映像データによって生成され る各フレームの映像の特徴量 (例えば、輝度および色の分布)を抽出する。詳細には 、特徴量抽出部 13は、各フレームの映像において、領域データによって特定される キャラクタ表示領域以外の領域の映像の特徴量抽出を行う。したがって、例えば、現 フレームにおいてキャラクタが表示される場合には、現フレームおよび補間フレーム においては、キャラクタ以外の映像についてのみ特徴量抽出が行われる。特徴量抽 出部 13は、抽出した各フレームの映像の特徴量を第 1の補正部 11へ与える。
[0296] 第 1の補正部 11は、特徴量抽出部 13から与えられる特徴量に基づいて、動き補償 部 109から出力される映像データによって生成される各フレームの映像のコントラスト 補正およびブライトネス補正を行う。詳細には、第 1の補正部 11は、各フレームの映 像において、領域データによって特定されるキャラクタ表示領域以外の領域の映像 についてコントラスト補正およびブライトネス補正を行う。したがって、例えば、現フレ ームにおいてキャラクタが表示される場合には、現フレームおよび補間フレームにお V、ては、キャラクタ以外の映像につ!/、てのみコントラスト補正およびブライトネス補正 が行われる。第 1の補正部 11は、補正後の映像データを第 2の補正部 12へ出力す
[0297] 第 2の補正部 12は、第 1の補正部 11から出力される映像データによって生成され る各フレームの映像のシャープネス補正を行う。詳細には、第 2の補正部 12は、各フ レームの映像において、領域データによって特定されるキャラクタデータ表示領域以 外の領域の映像についてシャープネス補正を行う。したがって、例えば、現フレーム においてキャラクタが表示される場合には、現フレームおよび補間フレームにおいて は、キャラクタ以外の映像についてのみシャープネス補正が行われる。第 2の補正部
12は、補正後の映像データを映像出力部 1 10へ出力する。
[0298] 以上のように、本例の映像補正部 1 1 1においては、キャラクタ以外の映像について のみ特徴量抽出が行われるので、本来補正されるべき映像(キャラクタ以外の映像) の特徴量抽出を適切に行うことができる。それにより、第 1の補正部 1 1において、本 来補正されるべき映像のコントラスト補正およびブライトネス補正を適切に行うことが できる。
[0299] また、第 1および第 2の補正部 1 1 , 12においては、キャラクタ以外の映像に対して のみ補正処理が施される。それにより、キャラクタ表示領域を有するフレームの映像 補正を行う際に、補正後のキャラクタ以外の映像にキャラクタの映像要素が反映され ることを防止すること力 Sできる。その結果、本来補正されるべき映像の画質が低下す ることを確実に防止すること力できる。
[0300] なお、上記の例においては、第 1の補正部 1 1においてコントラスト補正およびブライ トネス補正を行い、第 2の補正部 12においてシャープネス補正を行っている力 第 1 の補正部 1 1および第 2の補正部 12において色補正等の他の映像補正を行ってもよ い。
[0301] また、上記の例においては、映像補正部 1 1 1においてキャラクタの映像補正を行つ てレヽな!/、が、キャラクタの映像補正率をキャラクタ以外の映像の映像補正率よりも低く してキャラクタの映像補正を行ってもよい。この場合、映像補正時に抽出されるキャラ クタの映像要素の割合を低下させることができる。それにより、本来補正されるべき映 像の画質が低下することを防止することができる。
[0302] また、上記の映像補正部 1 1 1を図 1、図 7、図 1 1および図 12のテレビジョン受像機 100に適用してもよい。この場合、キャラクタ、副画面 1003 (図 15)、または副画面 1 003の外枠部分を除く領域の映像について補正が行われるので、キャラクタ、副画面 1003または副画面 1003の外枠部分の映像要素が映像補正後の各フレームの映像 に反映されることが防止される。その結果、本来補正されるべき映像 (キャラクタを除く 領域の映像)の画質が低下することを防止することができる。
[0303] (8)他の実施の形態
上記実施の形態においては、マイクロコンピュータ 107が生成した領域データに基
づいてフレームレート変換処理を行っている力 領域データはマイクロコンピュータ 1 07によって生成されなくてもよい。
[0304] 例えば、放送局から送信される放送信号に予めキャラクタデータが含まれている場 合、または放送局から送信される放送信号が予め複数の画面の映像データを含む 場合等には、放送局から送信される放送信号に領域データが含まれてもよい。この 場合、動き補償部 109は放送信号に含まれる領域データに基づいてフレームレート 変換処理を行うことができる。それにより、領域データを生成するためのマイクロコン ピュータ 107を設ける必要がなくなるので、テレビジョン受像機 100の製品コストを低 減すること力 Sでさる。
[0305] なお、放送局から送信される放送信号が予め複数の画面の映像データを含む場合 には、領域データが副画面 1003 (図 15参照)の外形線を含む一部領域 (例えば、副 画面 1003の外枠部分)を示してもよい。この場合、副画面 1003内の上記一部領域 を除く領域については、主画面 1002内の映像と同様に通常の動き補償が行われる 。それにより、本来移動すべきではない主画面 1002と副画面 1003との境界部分が 移動することを防止しつつ、高精度な動き補償を実現することができる。その結果、 高画質の映像を安定して提供することが可能となる。
[0306] また、上記実施の形態においては、デジタルの放送信号を受信するテレビジョン受 像機 100について説明した力 テレビジョン受像機 100がアナログの放送信号を受 信する構成でもよい。
[0307] また、上記実施の形態においては、映像処理装置がテレビジョン受像機である場合 について説明したが、映像処理装置が、携帯電話、カーテレビ、カーナビゲーシヨン 、 PDA (Personal Digital Assistance:携帯情報端末)等の移動受信機であってもよい
〇
[0308] また、映像処理装置が DVD (デジタルバーサタイルディスク)再生装置、 DVD記録 再生装置、ハードディスク記録再生装置、セットトップボックス(STB)、またはデジタ ルチューナを備えたパーソナルコンピューター等であってもよい。この場合、音声出 力部 105は、音声出力装置を有さず音声出力端子を有し、映像出力部 110は、映像 表示装置を有さず映像出力端子を有する。音声出力端子および映像出力端子は、
テレビジョン受像機の音声入力端子および映像入力端子に接続される。あるいは、 音声出力端子および映像出力端子は、ディスプレイパネルの音声入力端子および 映像入力端子に接続される。
[0309] また、上記実施の形態においては、チャンネル番号等のキャラクタを OSDで提示 する場合、およびディスプレイパネル上に複数の画面を表示する場合につ!/、て説明 したが、字幕等の他のキャラクタを提示する場合、または画面の一部領域に電子番 組ガイド(EPG : Electric Program Guide)を提示する場合等にも同様の効果を発揮す ること力 Sできる。これらの場合、動き補償部 109は、字幕等が表示される領域を示す 領域データまたは電子番組ガイドが表示される領域を示す領域データに基づいてフ レームレート変換処理を行えばよい。
[0310] (9)各部の実現方法
上記実施の形態のテレビジョン受像機 100の全ての構成要素が電子回路等のハ 一ドウエアにより実現されてもよぐあるいは一部の構成要素が CPU (中央演算処理 装置)等のハードウェアとプログラム等のソフトウェアとにより実現されてもよい。
[0311] (10)請求項の各構成要素と実施の形態の各要素との対応
以下、請求項の各構成要素と実施の形態の各要素との対応の例について説明す るが、本発明は下記の例に限定されない。
[0312] 上記実施の形態では、 AVデコーダ 104から出力される映像データが第 1のデータ の例であり、キャラクタデータまたは AVデコーダ 104aから出力される映像データが 第 2のデータの例であり、合成部 106が合成データ生成部の例であり、動き補償部 1 09が補間データ生成部の例であり、前方補償映像データ FVDが第 1の予測フレー ムのデータの例であり、後方補償映像データ RVDが第 2の予測フレームのデータの 例であり、平均映像データ AVDが第 3の予測フレームのデータの例であり、前方補 償領域データ FADが第 1の予測領域データの例であり、後方補償領域データ RAD が第 2の予測領域データの例であり、領域データ編集部 95が予測領域データ生成 部の例である。
[0313] 請求項の各構成要素として、請求項に記載されている構成または機能を有する他 の種々の要素を用いることもできる。
産業上の利用可能性
本発明は、テレビジョン受像機、パーソナルコンピュータ、 DVDレコーダ等に有効 に利用可能である。