JP5293702B2 - 映像表示装置 - Google Patents

Description

本発明は、映像表示装置に関し、より特定的には、フレーム補間を実施してなめらかな動画像を生成する映像表示装置に関する。

近年、映像データのフレームレートを上げる処理を行った上で表示する技術が普及している。例えば、日本のテレビ放送においては、携帯電話や移動体端末等での表示向けの放送（いわゆるワンセグ放送）が実施されているが、このワンセグ放送の映像のフレームレートは１５ＦＰＳ（フレーム／秒）である。これは一般的なディスプレイのフレームレート（例えば、６０ＦＰＳ）と比較して低いため、ワンセグ放送を滑らかに表示するためには、元々のフレーム間に中間状態を示すフレームを補間する必要がある。

このように映像データに対してフレーム補間を実施する技術として、例えば特許文献１が開示されている。

特許文献１に示す映像補間装置では、例えばワンセグ映像がフレーム補間部に６０ＦＰＳで入力される場合など、映像の実質的なフレームレート（この場合は、１５ＦＰＳ）と実際のフレームレート（この場合は、６０ＦＰＳ）が異なる場合においても、映像の実質的なフレームレートに基づき補間のタイミングを制御し、さらに一時的にフレームの更新タイミングが変動した場合にもそれを検知して補間のタイミングを制御することによって、映像品質を向上させることができる。

特開２００９−２３９３３５号公報

しかしながら、上記映像補間装置では、映像の実質的なフレームレート（上記の例では、１５ＦＰＳ）が予め分かっている場合には有効であるが、映像のソース機器（例えば、ＤＶＤプレイヤー）とフレーム補間を実施するディスプレイが別機器である場合など、ディスプレイ側で映像の実質的なフレームレートが不明である場合には適用することができないという課題があった。

それ故に、本発明の目的は、映像の実質的なフレームレートを検出する手段を備え、任意のフレームレートの映像を入力した場合にも、フレーム補間を実施し滑らかな動画像を生成することが可能な映像表示装置を提供することである。

上記目的を達成するために本発明の映像表示装置は、自装置に入力された入力映像信号を処理して表示部に映像表示する映像表示装置であって、前記入力映像信号のフレームの推移を検知して、前記入力映像信号の実質的なフレームレートを検出するフレームレート検出部と、前記フレームレート検出部にて検出された前記入力映像信号の実質的なフレームレートと前記表示部のフレームレートとに基づいてフレーム補間処理の補間倍率を決定する補間制御部と、前記入力映像信号に対して前記補間制御部にて決定された補間倍率に基づいて中間状態の内容を示す補間フレームを作成して前記表示部へ出力する補間処理部とを備え、前記フレームレート検出部は、前記入力映像信号における連続した２回のシー
ンチェンジの間に含まれるフレーム数を所定回数カウントすることによって実質的なフレームレートを検出する構成を有する。

本発明は、入力映像の実質的なフレームレートが不明である場合においても、映像信号から実質的なフレームレートを検出して適切なフレーム補間を実施し、なめらかな動画像を生成することが可能となる。

本発明の一実施形態に係る映像表示装置１の全体構成を示すブロック図 補間処理部１１３の動作を示す模式図 フレームレート検出部１１１の動作を示すフローチャート シーンチェンジの間隔Ｉを示す模式図 実施の形態１において映像信号Ｖの実質的なフレームレートを算出する方法を示す模式図 シーンチェンジ検出処理に誤検出が発生した場合の動作を示す模式図 変形例１において映像信号Ｖの実質的なフレームレートを算出する方法を示す模式図 所定のフレームにおいてノイズが混入した場合の動作を示す模式図

（実施の形態１）
図１は、本発明の一実施形態に係る映像表示装置１の全体構成及びその周辺構成を示すブロック図である。図１において、映像表示装置１は、例えばＤＶＤプレイヤ２Ｖのような映像源２と接続され、映像処理部１１と表示部１２とを備えている。

映像処理部１１はＤＶＤプレイヤ２Ｖから出力される映像信号Ｖに対し所定の処理を行って、処理後の映像信号Ｖ１を表示部１２に出力する。そのために、映像処理部１１は、少なくとも、フレームレート検出部１１１と、補間制御部１１２と、補間処理部１１３とを備えている。

フレームレート検出部１１１は、映像信号Ｖにおけるフレームの推移を検知して、映像信号Ｖの実質的なフレームレートを検出する。フレームレート検出部１１１の詳細な動作については後述する。

補間制御部１１２は、フレームレート検出部１１１で検出された映像信号Ｖの実質的なフレームレートと表示部１２のフレームレートに基づき、補間処理部１１３で実施されるフレーム補間処理の補間倍率を決定する。

ここで、補間倍率について説明を加える。例えば、映像信号Ｖの実質的なフレームレートが１５ＦＰＳ、表示部１２のフレームレートが６０ＦＰＳである場合には、フレーム補間処理により実質的なフレームレートを１５ＦＰＳから６０ＦＰＳに変換するため、補間倍率は６０ＦＰＳ／１５ＦＰＳ＝４倍となる。

補間処理部１１３は、映像信号Ｖを図示しないフレームメモリに格納し、かつ補間制御部１１２で決定された補間倍率に基づき、中間状態の内容を示す補間フレームを作成することで実質的なフレームレートを向上し、表示部１２に表示する処理を行う。

図２を用いて補間処理部１１３の動作を具体的に説明する。図２（ａ）は、フレーム補間前の映像信号Ｖを示したものであり、物理的なフレームレートは６０ＦＰＳであるが、
同じ映像が４フレーム連続で続くため実質的なフレームレートは１５ＦＰＳである。

表示部１２のフレームレートが６０ＦＰＳである場合、この映像に対してフレーム補間を実施する際には、例えばフレーム１とフレーム５の間のフレーム２、フレーム３、フレーム４の３枚のフレームのところに、フレーム１とフレーム５から生成した中間画像を挿入する。これにより、映像信号の実質的なフレームレートが１５ＦＰＳから６０ＦＰＳに向上する。

中間画像を生成する方法としては、フレーム内のオブジェクトの動きを検出して中間的な状態の画像を生成するなど、既存の方法を用いればよい。

表示部１２は、映像処理部１１から供給された映像を表示するためのディスプレイであり、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｅｎｃｅ）、プラズマなどのディスプレイや、スクリーンに映像を映すプロジェクタ、ヘッドアップディスプレイなどのうち、いずれか１つにより構成される。

図３は、フレームレート検出部１１１の動作を示すフローチャートである。以下、図３を参照して、フレームレート検出部１１１の動作について説明する。

図３において、フレームレート検出部１１１は、まず、映像信号Ｖの平均輝度に基づきシーンの変わり目であるシーンチェンジを検出する（Ｓ３１）。

具体的には、前フレームとの平均輝度の差分値を算出し、上記差分値が所定の閾値より大きい場合にシーンチェンジとして検出する。なお、シーンチェンジの検出は、ここで示した方法に限らず、既存の別の手法を用いるようにしてもかまわない。

フレームレート検出部１１１では、連続する２回のシーンチェンジの間隔Ｉをカウントする。例えば、図４に示すように、フレームｎとフレームｎ＋１の間でシーンチェンジが検出され、次にフレームｎ＋４とフレームｎ＋５の間でシーンチェンジが検出された場合には、シーンチェンジの間隔Ｉは４フレームとなる。

フレームレート検出部１１１は、シーンチェンジの間隔Ｉを過去Ｎ回分（本実施例ではＮ＝２０回とする）記憶する。

図３に戻り、フレームレート検出部１１１は、過去２０回分のシーンチェンジの間隔Ｉの値に基づき、映像信号Ｖの実質的なフレームレートを算出する。

映像信号Ｖの実質的なフレームレートを算出する具体的な方法を図５を用いて説明する。図５において、「間隔Ｉ」の欄に示されている数字は、過去２０回分のシーンチェンジの間隔Ｉの値である。

また、「フレームレート１倍」、「フレームレート１／２倍」、「フレームレート１／４倍」の欄は、入力映像信号Ｖの実質的なフレームレートが表示部に出力する映像信号Ｖ１のフレームレートの何倍であるかを検出するために用いる。

ここでは、出力映像信号Ｖ１のフレームレートが６０ＦＰＳであるとすると、入力映像信号Ｖの実質的なフレームレートは、「フレームレート１倍」では６０ＦＰＳ、「フレームレート１／２倍」では３０ＦＰＳ、「フレームレート１／４倍」では１５ＦＰＳが該当する。

図５に戻り、「フレームレート１倍」、「フレームレート１／２倍」、「フレームレート１／４倍」の欄には、過去２０回分のシーンチェンジの間隔Ｉの値が、それぞれ、１、２、４で割り切れるかにより、割り切れる場合は「○」、割り切れない場合は「×」が入力される。

例えば、入力映像信号Ｖの実質的なフレームレートが表示部に出力する映像信号Ｖ１のフレームレートに対して１／４倍である場合、４フレーム連続で同じフレームが続く。すなわち、シーンチェンジの間隔Ｉは４の倍数になり４で割り切れるため、「フレームレート１／４倍」の欄はすべて「○」となる。

逆に、入力映像信号Ｖの実質的なフレームレートが表示部に出力する映像信号Ｖ１のフレームレートに対して１／４倍でない場合には、確率的にシーンチェンジの間隔Ｉに４の倍数ではない値が含まれる。すなわち、「フレームレート１／４倍」の欄に「×」が含まれる。

図５の例では、「フレームレート１倍」、「フレームレート１／２倍」の欄はすべて「○」になっているが、「フレームレート１／４倍」の欄には「×」が含まれる。これより、入力映像信号Ｖの実質的なフレームレートは、映像信号Ｖ１のフレームレートに対して１倍、もしくは、１／２倍であると検出される。

所定のフレームレート（この場合、「フレームレート１／２倍」）ですべて「○」になる場合には、その倍数のフレームレート（この場合、「フレームレート１倍」）でもすべて「○」となるため、このように候補が複数ある場合には、最もフレームレートが低い候補を選択する。したがって、この場合「フレームレート１／２倍」が選択され、入力映像信号Ｖの実質的なフレームレートは３０ＦＰＳであると検出される。

補間制御部１１２は、上述のフレームレート検出部１１１の検出結果に基づき、補間倍率を２倍と決定する。そして、 補間処理部１１３は、補間倍率２倍で、フレーム補間処理を行う。

以上のような方法により、入力映像の実質的なフレームレートが不明である場合においても、映像信号から実質的なフレームレートを検出して適切なフレーム補間を実施し、なめらかな動画像を生成することが可能となる。

なお、本実施例では、出力映像信号Ｖ１のフレームレートが６０ＦＰＳであり、入力映像信号Ｖの実質的なフレームレートの候補が、「フレームレート１倍（６０ＦＰＳ）」、「フレームレート１／２倍（３０ＦＰＳ）」、「フレームレート１／４倍（１５ＦＰＳ）」の３つであるとしたが、出力映像信号Ｖ１のフレームレート、入力映像信号Ｖの実質的なフレームレートの候補とも、他のフレームレートの値でもかまわない。例えば、出力映像信号Ｖ１のフレームレートが１２０ＦＰＳであり、入力映像信号Ｖの実質的なフレームレートの候補として、１２０ＦＰＳ、６０ＦＰＳ、３０ＦＰＳ、１５ＦＰＳの４つの候補を用いるようにしてもかまわない。

なお、フレームレート検出部１１１のシーンチェンジ検出処理は誤検出する場合があるが、このような場合においても、例えば、入力映像信号Ｖの実質的なフレームレートが表示部に出力する映像信号Ｖ１のフレームレートに対して１／４倍である場合、４フレーム連続で同じフレームが続き、基本的にこれら同じフレームの間ではシーンチェンジ検出の誤検出は発生しないことから、シーンチェンジの間隔Ｉは所定の倍数（この場合、４倍）になる。

例えば、図６に示すような４フレーム連続で同じフレームが続くケースにおいて、ポイントＡにおいてシーンチェンジを検出し、その後ポイントＢにおいて本来シーンチェンジとして検出すべきところを誤検出した場合でも、次のシーンチェンジのタイミングであるポイントＣにおいてシーンチェンジを検出すれば、間隔Ｉの値は、正常にポイントＢでシーンチェンジを検出した場合（間隔Ｉ＝８）と同様に、４の倍数となる（間隔Ｉ＝２０）。したがって、シーンチェンジ検出処理は誤検出が発生した場合も、特に問題なく入力映像Ｖの実質的なフレームレートを検出することが可能となる。

また、本実施例ではシーンチェンジの間隔Ｉを過去２０回分記憶するとしたが、フレームレートの検出精度を高めるため、過去５０回分記憶するなど記憶するデータ数をより多くする方法も有用である。

また、安定的に動作させるため、一度入力映像の実質的なフレームレートを検出した後は、最初に検出したときよりも長い期間別のフレームレートであることを検出し続けない限りは、補間倍率の切り替えを実施しないようにしてもかまわない。

（変形例１）
実施の形態１では、例えば、入力映像信号Ｖの実質的なフレームレートが表示部に出力する映像信号Ｖ１のフレームレートに対して１／４倍である場合、４フレーム連続で同じフレームが続くため、基本的にこれら同じフレームの間ではシーンチェンジの誤検出は発生しないとして説明を行ったが、映像伝送中に外来ノイズが飛び込む場合等を考慮して、上述のフレーム間で誤検出が発生しても、正常に入力映像Ｖの実質的なフレームレートを検出できるような保護機能を備えていてもよい。

以降、変形例１の具体的な実現の手段について説明を行う。なお、本変形例１では、フレームレート検出部１１１において、入力映像信号Ｖの実質的なフレームレートを求める方法（実施の形態１のステップＳ３２）のみが実施の形態１と異なる。以降では、これらの実施の形態１からの相違点のみを説明するものとする。

映像信号Ｖの実質的なフレームレートを算出する具体的な方法を図７を用いて説明する。図７において、「間隔Ｉ」の欄に示されている数字は、過去２０回分のシーンチェンジの間隔Ｉの値である。

また、「フレームレート１倍」、「フレームレート１／２倍」、「フレームレート１／４倍」の欄には、過去２０回分のシーンチェンジの間隔Ｉの値が、それぞれ、１、２、４で割り切れるかにより、割り切れる場合は「○」、割り切れない場合は「×」が入力される。

実施の形態１と異なり、本変形例１では、図７において「△」が入力されている箇所があるが、これは所定の数で割り切れるものの、後述する条件に該当するためフレームレートの検出には用いない場合に入力される。

図８は入力映像信号Ｖの実質的なフレームレートが映像信号Ｖ１のフレームレートに対して１／４倍である場合において、所定のフレーム（図８の「Ｚ」で示したフレーム）においてノイズが混入した場合を示した図である。

図８において、ノイズの混入がなければシーンチェンジの間隔Ｉは４の倍数になるが（図８の例では、Ｉ＝２０）、ノイズの混入の影響で本来シーンチェンジではない箇所でシーンチェンジが検出されるため、シーンチェンジの間隔Ｉの値は４の倍数にはならない。また、あるフレームでシーンチェンジ検出の誤りが発生して間隔Ｉの値が本来の値と異な
る値となった場合、次回の間隔Ｉの値も本来の値と異なる値になるため、シーンチェンジの間隔Ｉが４の倍数にならないフレームは、基本的に２フレーム連続で続く（図８の例では、Ｉ＝１１、および、Ｉ＝１）。

このように、シーンチェンジの誤検出が発生した場合には、シーンチェンジの間隔Ｉの値が２回続けて誤った値となる、言い換えると、図７において２回連続で「×」となる場合はシーンチェンジの誤検出が発生した可能性があるため、シーンチェンジの誤検出の影響を除くためには、図７において２回連続で「×」となるケースを除外して映像信号Ｖの実質的なフレームレートを検出するようにすればよい。

具体的には、図７において、Ｎｏ．３とＮｏ．４は「フレームレート１／４倍」のケースにおいて４で割り切れないため「×」となっている。このように２回連続で「×」となっている場合はフレームレートの検出には用いないため、「フレームレート１倍」と「フレームレート１／２倍」のケースではそれぞれ１、および、２で割り切れるが、「△」を入力する。

なお、図７のＮｏ１５、Ｎｏ．１６、Ｎｏ．１７のように３回連続で「×」となっている場合は、うち２回がシーンチェンジの誤検出の可能性があるため、２回分をフレームレートの検出には用いず、所定の数で割り切れる場合も「△」を入力する。

図７より、「○」の数は「フレームレート１倍」、および、「フレームレート１／２倍」の場合が最も多いことから、この中で一番フレームレートが低い候補である「フレームレート１／２倍」が選択される。これより、実施の形態１と同様に出力映像信号Ｖ１のフレームレートが６０ＦＰＳであるとすると、入力映像信号Ｖの実質的なフレームレートは３０ＦＰＳであると検出される。

図７において、Ｎｏ．８、Ｎｏ．９は２の倍数になっておらず、ノイズの混入等の影響によりシーンチェンジが誤検出されたと考えられるが、本変形例に示すように、２回連続で「×」となるケースを除外して映像信号Ｖの実質的なフレームレートを検出することにより、シーンチェンジの誤検出の影響を除いて正しいフレームレートを検出することが可能となる。

以上のように、シーンチェンジの誤検出の影響を除外するような保護機能を備えることにより、シーンチェンジの誤検出が発生しても、正常に入力映像Ｖの実質的なフレームレートを検出することができ、映像信号から実質的なフレームレートを検出して適切なフレーム補間を実施し、なめらかな動画像を生成することが可能となる。

また、本変形例ではシーンチェンジの間隔Ｉを過去２０回分記憶するとしたが、フレームレートの検出精度を高めるため、過去５０回分記憶するなど記憶するデータ数をより多くする方法も有用である。

また、安定的に動作させるため、一度入力映像の実質的なフレームレートを検出した後は、最初に検出したときよりも長い期間別のフレームレートであることを検出し続けない限りは、補間倍率の切り替えを実施しないようにしてもかまわない。

本発明に係る映像表示装置は、民生や車載等のテレビジョン装置や各種ディスプレイに好適である。

１ 映像表示装置
１１ 映像処理部
１１１ フレームレート検出部
１１２ 補間制御部
１１３ 補間処理部
１２ 表示部
２ 映像源
２Ｖ ＤＶＤプレイヤ

Claims (2)

1. 自装置に入力された入力映像信号を処理して表示部に映像表示する映像表示装置であって、
   前記入力映像信号のフレームの推移を検知して、前記入力映像信号の実質的なフレームレートを検出するフレームレート検出部と、前記フレームレート検出部にて検出された前記入力映像信号の実質的なフレームレートと前記表示部のフレームレートとに基づいてフレーム補間処理の補間倍率を決定する補間制御部と、前記入力映像信号に対して前記補間制御部にて決定された補間倍率に基づいて中間状態の内容を示す補間フレームを作成して前記表示部へ出力する補間処理部とを備え、
   前記フレームレート検出部は、前記入力映像信号における連続した２回のシーンチェンジの間に含まれるフレーム数を所定回数カウントすることによって前記実質的なフレームレートを検出することを特徴とする映像表示装置。
2. 前記フレームレート検出部は、前記入力映像信号における連続した２回のシーンチェンジの間に含まれるフレーム数を所定回数カウントし、カウントしたフレーム数が２回連続して規定数で割り切れないカウント結果は除外して前記実質的なフレームレートを検出することを特徴とする請求項１記載の映像表示装置。