JP6663460B2 - 映像出力装置 - Google Patents

Description

本発明は、映像出力装置、表示装置、および映像表示システムに関し、特に、リフレッシュレート変化時の映像表示状態の変動による画質劣化の低減に有効な技術に関する。

パーソナルコンピュータなどに用いられるディスプレイにおいては、画面のちらつきを防止するために、１秒間に数十回程度の単位で画面の書き換え、いわゆるリフレッシュが行われる。

このリフレッシュの頻度、いわゆるリフレッシュレートは、数値が高いほどちらつきが低減される。リフレッシュレートは、例えば５０Ｈｚ程度〜７０Ｈｚ程度の一定の値に設定されている。

ディスプレイの性能やパーソナルコンピュータに搭載されている画像処理プロセッサ、いわゆるＧＰＵ（Graphics Processing Unit）などの性能と密接な関係がある。例えば動作速度の遅いＧＰＵの場合には、描画速度が遅くなるためにリフレッシュ期間内に次のフレームが描画されず、同じフレームを表示してしまう恐れがある。それにより、ディスプレイの表示性能が低下してしまうという問題がある。

この問題を解決する技術として、リフレッシュレートを変動させるものがある（例えば、特許文献１および特許文献２参照）。特許文献１には、映像出力装置が出力中の画像の描画処理時間と、リフレッシュレート値から算出した１画面の出力時間とに基づいて前記リフレッシュレート値を修正することが記載されている。

また、特許文献２には、映像出力装置が１フレーム描画したら映像信号を出力して表示素子が１フレーム表示し、描画時間が所定の時間を超えて表示信号が出力されない場合は、表示素子が前フレームを表示するリフレッシュレート変動技術が記載されている。

特開平１１−２３１８５４号公報 米国特許出願公開第２０１４／００９２１１３号明細書

しかしながら、上述した特許文献１の技術は、描画処理時間が１画面の出力時間を越えるときに下方修正を行い、１画面の出力時間が描画処理時間以上のときに上方修正を行うものであって、リフレッシュレート変化時の映像表示状態の変動による画質劣化が考慮されていない。

また、特許文献２の場合は、フレーム毎の描画時間によってリフレッシュレートが変動するが、表示素子は、フレーム毎にフレーム周期が変動することによる画質への影響が考慮されていない。

本発明の目的は、フレーム毎にフレーム周期が変動する場合であっても、高画質の映像表示を実現することのできる技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的な映像表示システムは、映像信号を出力する映像出力装置と、該映像出力装置から出力された映像信号に基づいて映像を表示する表示装置と、を備える。

映像表示システムは、フレーム間隔情報処理部および送信部を有する。フレーム間隔情報処理部は、第１のフレームの映像信号が出力されてから、第１のフレームの次フレームとなる第２のフレームの映像信号が出力されるまでの間隔を示すフレーム間隔情報を算出する。送信部は、映像信号およびフレーム間隔情報処理部が算出したフレーム間隔情報を表示装置に送信する。特に、送信部は、フレーム間隔情報を第１のフレームの映像信号に付与して送信する。

さらに、表示装置は、表示部、制御部、および一時記憶部を有する。表示部は、映像信号を表示する。映像出力装置から送信されたフレーム間隔情報に基づいて、表示部に映像信号を表示する制御を行う。一時記憶部は、映像出力装置から送信された映像信号を一時的に格納する。

また、制御部は、第１のフレームから第２のフレームまでの伝送間隔が、表示装置の最短表示走査フレーム間隔の２倍以上である場合に、一時記憶部に格納された第１のフレームの映像信号を２つの表示走査期間に分割して表示部に表示させる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

フレーム毎にフレーム周期が変動する映像信号であっても、高画質の映像を表示することができる。

実施の形態１による映像表示システムにおける構成の一例を示す説明図である。 図１の映像表示システムによる描画、伝送、および表示タイミングの一例を示す説明図である。 実施の形態２による映像表示システムにおける描画、伝送、および表示タイミングの一例を示す説明図である。 実施の形態３による映像表示システムによる描画、伝送、および表示タイミングの一例を示す説明図である。 実施の形態４による映像表示システムにおける構成の一例を示す説明図である。 図５の映像表示システムによる描画、伝送、および表示タイミングの一例を示す説明図である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

以下、実施の形態を詳細に説明する。

（実施の形態１）
〈映像表示システムの構成例〉
図１は、本実施の形態１による映像表示システム１０における構成の一例を示す説明図である。

映像表示システム１０は、図１に示すように、映像出力装置１１および表示装置１２から構成されている。映像出力装置１１と表示装置１２とは、映像インタフェースを介して接続されている。映像インタフェースは、例えばＨＤＭＩ（High Definition Multimedia Interface、登録商標）などの接続標準規格からなるインタフェースなどからなる。

映像出力装置１１と表示装置１２とは、映像インタフェースを通じて制御情報を交換し、表示装置１２が対応可能な範囲で映像信号のフォーマットを決めて、映像信号のメタデータを送受信する。

映像表示システム１０は、映像出力装置１１が出力した映像信号を表示装置１２へ伝送して映像を表示するシステムであり、例えばパーソナルコンピュータやゲーム機器などである。映像表示システム１０がパーソナルコンピュータの場合、映像出力装置１１は、該パーソナルコンピュータ本体であり、表示装置１２は、液晶ディスプレイなどのモニタに当たる。

映像出力装置１１は、描画処理部１０１、送信部１０２、制御部１０３、および描画時間予測部１０４を有する。描画処理部１０１は、例えば画像処理であるＧＰＵなどからなり、制御部１０３の制御に基づいて、フレーム毎における描画処理を行う。

フレーム間隔情報処理部である描画時間予測部１０４は、次のフレームの描画にかかる描画時間を描画内容に基づいて予測する。そして、その予測結果から次のフレームを映像信号として出力するまでのフレーム間隔、すなわち次の映像信号が出力されるまでの時間を算出する。

送信部１０２は、描画処理部１０１が描画したフレームの映像信号および描画時間予測部１０４が算出したフレーム間隔からなるフレーム間隔情報をＨＤＭＩなどのインタフェースを介して表示装置１２に送信する。

制御部１０３は、例えばＣＰＵなどからなり、図示しない主メモリに格納されているアプリケーションなどに基づいて、描画処理部１０１における描画処理を制御する。また、制御部１０３は、描画時間予測部１０４における動作制御を行う。

表示装置１２は、受信部１１１、一時記憶部１１２、輝度補正部１１３、応答補正部１１４、表示素子１１５、および制御部１１６を有する。この表示装置１２において、受信部１１１は、映像出力装置１１からインタフェースを介して送信された映像信号およびフレーム間隔情報を受信する。

一時記憶部１１２は、いわゆるフレームメモリであり、受信部１１１が受信した映像信号を一時的に格納する。一時記憶部１１２は、例えばＲＡＭ（Random Access Memory）などの揮発性メモリからなる。

輝度補正部１１３は、映像信号における輝度の補正処理を行う。輝度の補正処理は、例えばフレーム周期に基づいて、表示素子１１５に表示される映像の輝度を調整する。応答補正部１１４は、表示素子１１５の光学応答を改善するオーバドライブ用の信号を生成する。

表示素子１１５は、液晶ディスプレイやプラズマディスプレイなどの表示部であり、表示駆動回路やバックライトなどを含む。制御部１１６は、フレーム間隔情報に基づいて、一時記憶部１１２、輝度補正部１１３、および応答補正部１１４などの動作を制御する。

受信部１１１が受信した映像信号は、一時記憶部１１２に一時的に格納された後、輝度補正部１１３、応答補正部１１４から表示素子１１５へ伝えられて映像が表示される。また、受信部１１１が受信したフレーム間隔情報は、制御部１１６に出力される。

制御部１１６は、受け取ったフレーム間隔情報に基づいて、一時記憶部１１２、輝度補正部１１３、応答補正部１１４、および表示素子１１５を制御して、フレーム間隔変動に備えた補正を行う。これにより、高画質表示を維持する。

〈映像表示システムの動作例〉
図２は、図１の映像表示システム１０による描画、伝送、および表示タイミングの一例を示す説明図である。図２において、上方から下方にかけては、描画、伝送、および表示走査のタイミングをそれぞれ示している。

図２において、描画は、描画処理部１０１による描画期間である。伝送は、映像出力装置１１から表示装置１２に伝送される映像信号およびフレーム間隔情報の出力期間である。表示は、表示素子１１５による表示走査期間である。

具体的には、描画に示すＡｉは、第ｉフレームの描画期間を示しており、伝送に示すＢｊは、第ｊフレームの伝送期間を示している。また、表示に示すＣｋ０とＣｋ１とは、第ｋフレームの表示走査期間を示しており、ｔ１０ｉは、第ｉフレームの描画時間、ｔ１１ｊは、第ｊフレームと第ｊ＋１フレームとの伝送フレーム間隔（第ｊフレームの伝送フレーム周期とも言う）を示す。ｔ１２ｋとｔ１３ｋは、それぞれＣｋ０とＣｋ１の表示走査期間のフレーム間隔を示す。ここで、ｉ，ｊ，ｋは、それぞれ整数である。

さらに、図２では、説明の簡略化のため、第ｉ＋１フレームの描画期間Ａｉ＋１と、第ｉフレームの伝送期間Ｂｉ、第ｉフレームの表示走査期間Ｃｉ０の開始位置を一致させて示しているが、伝送期間Ｂｉや表示走査期間Ｃｉは、図示より信号処理などによって所定の遅延が生じても、何ら影響もないことは明らかである。以降に示す図３、図４、および図６においても同様である。

まず、映像出力装置１１の描画処理部１０１が描画期間Ａ１に描画した第１フレームは、描画処理部１０１が第２フレームを描画している描画期間Ａ２の期間中に、第１フレーム伝送期間Ｂ１において送信部１０２から表示装置１２の受信部１１１に出力される。

この時、描画時間予測部１０４は、第２フレームの描画内容に基づいて、描画に必要な時間ｔ１０２を予測し、その予測時間ｔ１０２と等しい伝送フレーム間隔ｔ１１１を算出する。送信部１０２は、伝送フレーム間隔ｔ１１１を受信部１１１に出力する。すなわち、第１フレームの映像信号伝送期間Ｂ１の期間に、第２フレームの描画予測時間ｔ１０２に相当する、第１フレームと第２フレームの伝送フレーム間隔ｔ１１１の情報を、送信部１０２から受信部１１１へ伝送する。以下、同様に第２フレーム以降の描画や描画時間予測、それらの伝送が行われる。

送信部１０２と受信部１１１との間の映像伝送において、伝送速度などの制約から、１フレームを伝送する最短時間が決まっている。たとえば、伝送の最短時間よりも描画時間が短い第４フレーム描画期間Ａ４の場合、第３フレームの伝送期間Ｂ３の終了を待って伝送開始する。

図２では、第４フレームの伝送開始を待つことなく、第５フレームの描画を開始しているが、フレームメモリなどの制約により第５フレームの描画開始が困難な場合は、第３フレームの伝送終了後に開始させてもよい。

このように、例えば、フレーム描画予測時間ｔ１０４がフレーム伝送最短時間より短い場合は、伝送フレーム間隔ｔ１１３の伝送に加えて、描画予測時間ｔ１０４も表示装置１２に伝送してもよい。

例えば、後述するような事情により、伝送タイミングよりも表示走査タイミングに遅延が生じた際には、その遅延を伝送フレーム間隔ｔ１１３と描画予測時間ｔ１０４との差分だけ短縮する使い方ができる。これにより、描画から表示までの遅延時間を短くしてレスポンスのよい表示を実現できる。

表示装置１２は、受信部１１１が受信した映像信号を表示素子１１５に表示させる。図２は、伝送期間と表示走査期間がほぼ等しい場合を示している。表示素子１１５は、通常、表示走査期間と表示タイミングとの間に所定の同期関係を有する。

例えば、表示素子１１５がＣＲＴ（Cathode Ray Tube）の場合には、表示走査とほぼ同時に発光する。また、表示素子１１５がＬＣＤの場合には、表示走査時点から透過率や反射率が変化し始める。そして、ＬＣＤのバックライトが連続発光バックライトの場合は、それらの変化が直ちに表示につながる。

また、バックライトがパルス状発光バックライトの場合は、表示走査後の所定のタイミングにて発光する。表示素子の種類によって異なるが、一般的には、リフレッシュレートが高い、すなわちフレーム間隔が短い方が、フリッカが少なく動画質を良好にすることができる。

〈フリッカの低減〉
そこで、制御部１１６は、例えば、第３フレームの描画期間Ａ３が長く、第２フレーム伝送Ｂ２と第３フレーム伝送期間Ｂ３の間隔ｔ１１２が、表示素子１１５の最短表示走査フレーム間隔の２倍以上長い場合に、一時記憶部１１２に格納された第２フレームの映像信号を用いて２つの表示走査期間Ｃ２０と表示走査期間Ｃ２１を設ける。

すなわち、フレーム伝送間隔を最短表示走査フレーム間隔で割った商（小数以下切り捨て）の回数、表示走査期間を繰り返すとよい。この場合、各表示走査期間は、フレーム伝送期間内に均等な間隔で配置するとフリッカが生じにくい。

一時記憶部１１２は、映像信号を複数の表示走査期間で繰り返し使用するために、制御部１１６が制御して映像信号を一時的に記憶させるものである。

表示素子１１５には、表示走査フレーム間隔の最短時間以外に最長時間も設けられている場合がある。最長時間が最短時間の２倍以上あれば、上記のやり方を常に適用することができる。

しかし、そうでない場合は、上記の均等配置の表示走査フレーム間隔が表示素子で決められた最長時間を超えてしまう場合がある。その際は、表示走査フレーム間隔を最短時間とした上で、繰り返しを１回増やす。

その結果、繰り返した表示走査期間の累計値が、該当するフレーム伝送時間を超えてしまうので、表示走査期間終了後、直ちに次のフレームの表示走査を始め、次のフレームの伝送時間内で超過した時間を調整すればよい。

これらの表示走査処理の結果、図２の表示走査タイミングＣｋ０と表示走査タイミングＣ２１における表示走査フレーム間隔ｔ１ｋ０と表示走査フレーム間隔ｔ１３２は、表示素子１１５において決められている最短時間から最長時間の範囲内にて変動する。

〈表示走査フレーム間隔の変動による表示補正〉
続いて、表示走査フレーム間隔の変動によって、明るさや光学応答の画質への影響や、表示素子１１５の信頼性への影響が生じることがあるので、それらの対策方法について説明する。

表示素子１１５が例えばＬＣＤであり、常時点灯バックライト付きのライトバルブを有する場合、表示走査フレーム間隔の変動による明るさの変動は少ない。しかし、パルス発光バックライト付きのライトバルブの場合には、表示走査フレーム間隔単位で平均輝度を一定として明るさ変動を抑圧し、フリッカ現象を防ぐ必要がある。

すなわち、発光時間や発光パルス数、発光輝度を表示走査フレーム間隔で制御し、（（発光時間）／（表示走査フレーム間隔））×（発光輝度）、または（（発光パルス数）／（表示走査フレーム間隔））×（パルス発光輝度）を一定とすることによって、明るさの変動を防ぐことができる。

また、表示素子１１５が例えばＯＬＥＤ（Organic Electro-Luminescence）などのパルス幅変調素子の場合には、基準となるパルス幅を表示走査フレーム間隔に比例させるか、輝度が表示走査フレーム間隔に比例するように駆動電圧を調整する。

表示素子１１５がプラズマディスプレイなどのパルス数変調素子の場合には、輝度が表示走査フレーム間隔に比例するように駆動電圧を調整するか、パルス数を表示走査フレーム間隔に比例させてもよい。これらの処理は、制御部１１６が図示しない表示駆動回路やバックライトを含む表示素子１１５を制御して行われる。

また、表示素子１１５の輝度が表示走査フレーム間隔に依存する場合には、上記した変動防止技術に代えてあるいは併用して、その変動を補償するように表示素子１１５に与える映像信号を、輝度補正部１１３によって補正する。輝度補正部１１３は、例えばＬＵＴ（Look Up Table）や乗算器などによって構成してもよい。

このような輝度補正を行う場合、例えば第１フレームと第２フレームの表示走査フレーム間隔ｔ１２１が、第１フレームの表示走査期間Ｃ１０の開始前に必要となる。それを決める伝送フレーム間隔情報ｔ１１１は、第１フレームの伝送期間Ｂ１の最初またはそれよりも以前のタイミングで伝送するとよい。

応答補正部１１４は、前述したように表示素子１１５の光学応答を改善するオーバドライブ用の信号を生成するものである。オーバドライブとは、前フレームからの変化が大きい場合にその変化を拡大補償するものである。表示走査フレーム間隔が短いと補償不十分に、表示走査フレーム間隔が長いと過補償になりやすので、その不足分または過剰分を補正する働きを担う。

さらに、表示素子１１５がＬＣＤなどのように、表示走査期間毎に極性を反転させて交流駆動させる場合、交流バランスが崩れて直流分が増えると、表示素子の信頼性や表示品質へ影響を与えることがあるため、交流バランスをとる必要がある。

このため、正極性で駆動した表示走査フレーム間隔の累計から負極性で駆動した表示走査フレーム間隔の累計を差し引いた差分時間が正であれば、次の表示走査フレーム期間は負極性で駆動し、該差分時間が負であれば正極性で駆動するとよい。この差分時間の絶対値は、表示走査フレーム間隔の約半分となることがバランスがよい。この観点から、隣接する表示走査フレーム間隔は、ほぼ同等であることが好ましい。

このためには、図２の表示走査フレーム間隔ｔ１２０とｔ１２１が等しくなるように、表示走査フレーム期間Ｃ１０を伝送フレーム間隔ｔ１１１とｔ１１０の差の半分、（ｔ１１１−ｔ１１０）／２だけ遅らせてもよい。

次に、表示走査フレーム間隔ｔ１２１とｔ１２２とｔ１３２が等しくなるようにするとよい。この場合、次の関係となる。

ｔ１２０＝（ｔ１１０＋ｔ１１１）／２
（但し、表示走査期間Ｃ１０が伝送期間Ｂ１よりも前に配置できないので、ｔ１２０＜ｔ１１０の場合は、ｔ１２０＝ｔ１１０）
ｔ１２１＝（ｔ１１０＋ｔ１１１＋ｔ１１２−ｔ１２０）／３
ｔ１２２＝（ｔ１１０＋ｔ１１１＋ｔ１１２＋ｔ１１３−ｔ１２０−ｔ１２１）／３
（但し、表示走査期間Ｃ３０が伝送期間Ｂ３よりも前に配置できないので、図２の例ではｔ１２２＝ｔ１２１）
ｔ１３２＝ｔ１２２
ここで、表示走査期間Ｃ３０と伝送期間Ｂ３とが同じタイミングとなるので、再度、上記の計算を繰り返して表示走査フレーム間隔ｔ１２３以降を決めていく。

このように、表示素子１１５の信頼性または描画から表示までにかかる遅延時間のどちらを優先するかで、表示走査フレーム間隔の計算結果は異なることなる。よって、表示システム１２としてどちらを優先させるかを決めるとよいし、両者の計算結果の中間値を使ってもよい。

以上、説明してきたように、映像出力装置１１は、描画予想時間から次のフレームが伝送開始するまでの伝送フレーム間隔、すなわちフレーム間隔情報を映像信号と共に表示装置１２へあらかじめ伝送する。表示装置１２は、伝送フレーム間隔に応じて表示走査期間を挿入し、各フレームの平均輝度を一定として、光学応答補正用オーバドライブを制御することができる。

これにより、リフレッシュレートが変化しても、表示装置１２に表示される映像の明るさの変動を抑えることが可能となり、光学応答を最適化した映像表示システム１０を実現することができる。

なお、表示走査フレーム間隔の最短時間や最長時間の情報は、表示装置１２の制御部１１６から、映像出力装置１１の制御部１０３に伝達することによって、表示装置１２の種類に応じた描画期間や伝送フレーム間隔を映像出力装置１１が選択することができる。

（実施の形態２）
〈映像表示システムの動作例〉
本実施の形態では、伝送時間が描画時間や表示走査時間よりも短い場合について説明する。映像インタフェースに高速のインタフェースを用いた際には、伝送時間を短くすることができる。例えば横４０００ピクセル程度×縦２０００ピクセル程度の高解像の映像である４Ｋ２Ｋの映像信号を伝達することのできるインタフェースを用いて、４Ｋ２Ｋよりも解像度が低い映像信号、例えば横１９２０ピクセル程度×縦１０８０ピクセル程度の解像度のフルＨＤなどを伝達する際には、映像信号の伝送時間を大幅に短くすることができる。

なお、映像表示システム１０における構成については、前記実施の形態１の図１と同様であるので、説明は省略する。

図３は、本実施の形態２による映像表示システム１０における描画、伝送、および表示タイミングの一例を示す説明図である。

図３において、上方から下方にかけては、図２と同様に、描画、伝送、および表示走査のタイミングをそれぞれ示している。図３において、描画は、描画処理部１０１による描画期間である。伝送は、映像出力装置１１から表示装置１２に伝送される映像信号およびフレーム間隔情報である。表示は、表示素子１１５における表示走査期間である。

具体的には、図３の描画に示すＤｉは、第ｉフレームの描画期間を示し、伝送に示すＥｊは、第ｊフレームの伝送期間を示す。表示に示すＦｋ０およびＦｋ１は、第ｋフレームの表示走査期間を示す。また、ｔ２０ｉは、第ｉフレームの描画時間を示し、ｔ２１ｊは、第ｊフレームと第ｊ＋１フレームの伝送フレーム間隔（第ｊフレームの伝送フレーム周期とも言う）示す。ｔ２２ｋとｔ２３ｋは、それぞれＦｋ０とＦｋ１の表示走査期間のフレーム間隔を示す。ここで、ｉ，ｊ，ｋは、いずれも整数である。

また、伝送期間が短い点を除いて、第４フレーム描画期間Ｄ４、第３フレームの伝送期間Ｅ３、第２フレームの表示走査期間Ｆ３０までは、図２と同様であるので説明は省略する。

まず、伝送期間Ｅ３においては期間が短いので、描画期間Ｄ４が終了した後、直ちに伝送期間Ｅ４が始まる。しかしながら、表示走査期間Ｆ３０は、伝送フレーム間隔ｔ２１３を過ぎても継続する。

表示走査期間Ｆ３０において、伝送期間Ｅ４と重なる領域はあっても、重なる領域の表示走査の画像位置は、未伝送である。そのため、第３フレームの映像信号で表示走査することになる。第３フレームの表示走査期間Ｆ３０が終了すると、第４フレームの表示走査期間Ｆ４０が開始される。

描画期間Ｄ５、伝送期間Ｅ４も短いので、第４フレームの表示走査期間Ｆ４０が終了する前に、第５フレームの伝送期間Ｅ５が先に終了する。このため、表示走査期間Ｆ４０の後半では、第５フレームにおける映像信号の表示に使うことができる。

しかし、同一の表示走査期間内で異なるフレームの映像信号に切り換えると、その切り換え部分が目立つ場合がある。例えば、縦線が右に動く場合には、後フレームの縦線が前フレームの縦線の右に分かれてしまう。この現象を防ぐため、切り換え領域は、第４フレームと第５フレームとを混合して徐々に切り替えるようにするとよい。

光学応答を補償する目的の応答補正部１１４は、前フレームからの差異を強調するような動作となっている。そこで、第４フレームと第５フレームとの映像を混合して切り換える領域については、応答補正部１１４の強調動作を弱めることによって過補償による弊害を弱めることができる。

このように、応答補正部１１４の制御パラメータを調整して活用することによって、隣接フレーム映像の混合動作に用いる特別な応答補正部などの回路が不要となり、回路コスト増を抑えることができる。

以上により、伝送速度が速く、伝送フレーム間隔を短くとれる場合は、表示素子の表示走査周期が長い場合であっても、描画データの変化を早く表示に反映することができ、表示装置１２の表示レスポンスを向上させることができる。

（実施の形態３）
本実施の形態３においては、表示走査時間が描画時間や伝送時間よりも短い場合における映像表示システムの動作について、図１および図４を用いて説明する。

〈映像表示システムの動作例〉
図４は、本実施の形態３による映像表示システム１０による描画、伝送、および表示タイミングの一例を示す説明図である。この図４は、前記実施の形態１の図２や前記実施の形態２の図３と同様に、描画、伝送、および表示タイミングを説明する図である。

図４において、上方から下方にかけては、図２および図３と同様に、描画、伝送、および表示走査のタイミングをそれぞれ示している。図４において、描画は、描画処理部１０１による描画期間である。伝送は、映像出力装置１１から表示装置１２に伝送される映像信号およびフレーム間隔情報である。表示は、表示素子１１５における表示走査期間である。

具体的には、図４の描画に示すＧｉは、第ｉフレームの描画期間を示す。図４の伝送に示すＨｊは、第ｊフレームの伝送期間を示す。図４の表示に示すＬｋ０とＬｋ１、Ｌｋ２、Ｌｋ３は、第ｋフレームの表示走査期間を示す。また、ｔ３０ｉは第ｉフレームの描画時間、ｔ３１ｊは第ｊフレームと第ｊ＋１フレームの伝送フレーム間隔（第ｊフレームの伝送フレーム周期とも言う）、ｔ３２ｋとｔ３３ｋ、ｔ３４ｋ、ｔ３５ｋは、それぞれＬｋ０とＬｋ１、Ｌｋ２、Ｌｋ３の表示走査期間のフレーム間隔を示す。ここで、ｉ，ｊ，ｋはそれぞれ整数である。

前記実施の形態２の図２では、伝送フレーム間隔ｔ１１ｊや表示走査期間のフレーム間隔ｔ１２ｋ、ｔ１３ｋを伝送期間Ｂｋｊや表示走査期間Ｃｋ０、Ｃｋ１の開始時点をベースに示した。本実施の形態３の図４と図２とが異なる点は、伝送フレーム間隔ｔ３１ｊや表示走査期間のフレーム間隔ｔ３２ｋ、ｔ３３ｋ、ｔ３４ｋ、ｔ３５ｋを、伝送期間Ｈｋｊや表示走査期間Ｌｋ０、Ｌｋ１、Ｌｋ２、Ｌｋ３の終了時点をベースに示しているところである。

表示走査期間Ｌｋ０に伝送期間Ｈｋに伝送された映像信号使う必要があるため、表示走査期間Ｌｋ０の終了時を伝送期間Ｈｋの終了時に合わせると、描画から表示までの遅延時間を最小にできるので、終了時点をベースとした記述に変えている。

描画期間Ｇ１に描画された第１フレームの映像データが、伝送期間Ｈ１で伝送され、表示走査期間Ｌ１０で表示素子に与えられる。描画から表示までの遅延時間を最小にするため、描画期間Ｇ１の終了と伝送期間Ｈ１の開始をほぼ一致させ、伝送期間Ｈ１の終了と表示走査期間Ｌ１０の終了をほぼ一致させている。

図２と同様に、第１フレームと第２フレーム間の伝送フレーム間隔ｔ３１１を、第２フレームの描画期間ｔ３０２の予測値に予測誤差程度の余裕を加えた時間として算出し、その算出結果を第１フレームの伝送期間以前で映像出力装置１１から表示装置１２へ伝えられる。

図２と異なるのは、表示走査期間Ｌ１０が短いため、伝送期間Ｈ１の終了タイミングに合わせて配置されている点と、伝送フレーム間隔ｔ３１１を半分ずつの表示走査期間ｔ３２１とｔ３３１に分けて、それぞれ表示走査期間Ｌ１１，Ｌ２０を配置している点である。

表示装置１２がＬＣＤなどのいわゆるホールド型の場合では、応答速度改善を狙って映像インタフェースが６０Ｈｚの映像信号を送受信している場合でも、表示素子１１５のリフレッシュレートを２倍〜４倍の１２０〜２４０Ｈｚとしている例がある。このような高速リフレッシュレートの表示素子１１５を使用する場合を想定している。

第３フレームの描画期間Ｇ３が長いので、伝送フレーム間隔ｔ３１２も長く、表示走査期間Ｌ２１，Ｌ２２，Ｌ２３，Ｌ３０を均等に配置し、表示走査フレーム間隔ｔ３２２，ｔ３３２、ｔ３４２、ｔ３５２を等しくしている。

但し、事前に表示装置１２に伝えられていた伝送フレーム間隔ｔ３１２の予測値が、実際の値と異なる場合は、最後の表示走査フレーム間隔ｔ３５２を調整して、表示走査期間Ｌ３０と伝送期間Ｈ３の終了タイミングを合わせるとよい。

伝送フレーム間隔の実際の値は、伝送期間Ｈ３の開始時点で伝送期間Ｈ２の開始時点からの経過時間を測定すれば判明する。よって、表示走査期間Ｌ３０が始まる前に入手することができ、表示走査フレーム間隔ｔ３５２が算出できる。

伝送時間よりも描画時間の短い描画期間Ｇ４，Ｇ５，Ｇ６が続くと、第４フレームの伝送開始は、描画期間Ｇ５の途中からとなるが、少なくとも描画期間Ｇ５が終了するまでは描画期間Ｇ４で描画されたフレームを伝送する。

この場合、（１）描画期間Ｇ５終了後も描画期間Ｇ４で描画されたフレームを伝送し続けるか、（２）伝送期間Ｈ４の途中から描画期間Ｇ５で描画されたフレームに切り換えるか、（３）描画期間Ｇ４とＧ５でそれぞれ描画されたフレームを組み合わせたフレームに切り換えるか、（４）伝送期間Ｈ４を途中終了させて描画期間Ｇ５で描画されたフレームを伝送する伝送期間Ｈ５へ移行するかの４通りが考えられる。

上記（１）〜（４）のどの方式をとったかを、表示装置１２へ伝えることによって、表示装置１２の制御部１１６が輝度補正部１１３、応答補正部１１４、および表示素子１１５などを制御して視聴者へ好ましい映像を提供することができる。

図４の例では、上記（１）を選択した場合を例示しており、伝送期間Ｈ４の終了時点で描画期間Ｇ６が終了している。よって、描画期間Ｇ５で描画したフレームは、表示装置１２へ伝送せずに、伝送期間Ｈ４の後に描画期間Ｇ６で描画したフレームを伝送している。

このように、伝送されないフレームの描画は無駄になってしまうので、描画時間ｔ３０４，ｔ３０５，ｔ３０６の合計時間を予測し、フレーム伝送時間の２倍以内であれば、描画期間Ｇ５は、描画を停止して、消費電力を減らすとよい。

以上のように、表示素子１１５の表示走査期間のフレーム間隔が短い場合には、伝送期間の終了のすぐ後に表示走査周期が終了するように設定することによって、フレーム伝送時間描画データの変化を早く表示に反映することができる。

また、表示走査フレーム間隔の最短時間や最長時間の情報を表示装置１２の制御部１１６から、映像出力装置１１の制御部１０３に伝達することによって、映像出力装置１１は、伝送フレーム間隔を表示走査フレーム間隔へ近づけて、描画から表示までの遅延時間をさらに小さくすることができる。

逆の論理として、表示走査フレーム間隔の最短時間が長い場合は、伝送フレーム間隔や描画時間を無理に短くせず、消費電力などに配慮した設計としてもよい。表示走査フレーム間隔の設定方法や、輝度補正、応答補正などの動作は、図２と同様であり、その動作と効果の説明は省略する。

（実施の形態４）
〈映像表示システムの構成例〉
本実施の形態４では、描画期間中に外部トリガが入り、描画のし直しを行う場合について説明する。

図５は、本実施の形態４による映像表示システム１０における構成の一例を示す説明図である。

図５に示す映像表示システム１０は、前記実施の形態１の図１の映像表示システム１０と同様の構成に、操作部１０５が新たに追加されたものとなっている。操作部１０５は、例えばゲームのプレイ時などにおいて用いられる操作盤、いわゆるゲームコントローラなどである。

操作部１０５は、制御部１０３に接続されている。描画中にユーザが操作部１０５から描画条件などの変更指示が入力された際、制御部１０３は、外部トリガと認識して、その時点での描画を中止させて、新たなフレームの描画を開始する指示を行う。このような外部トリガの例としては、他にジェスチャー入力や各種センサなどがある。

〈映像表示システムの動作例〉
図６は、図５の映像表示システム１０による描画、伝送、および表示タイミングの一例を示す説明図である。図６において、上方から下方にかけては、描画、伝送、および表示走査のタイミングをそれぞれ示している。図６において、描画は、描画処理部１０１による描画期間である。伝送は、映像出力装置１１から表示装置１２に伝送される映像信号およびフレーム間隔情報である。表示は、表示素子１１５における表示走査期間である。

具体的には、図６の描画に示すＰｉは、第ｉフレームの描画期間を示し、伝送に示すＱｊは、第ｊフレームの伝送期間を示す。図６の表示に示すＲｋ０とＲｋ１は、第ｋフレームの表示走査期間を示す。ここでｉ，ｊ，ｋはそれぞれ整数である。

また、伝送に示すｔ４０ｉは、第ｉフレームの描画時間を示し、ｔ４１ｊは、第ｊフレームと第ｊ＋１フレームの伝送フレーム間隔（第ｊフレームの伝送フレーム周期とも言う）を示す。表示に示すｔ４２ｋとｔ４３ｋは、それぞれＲｋ０とＲｋ１の表示走査期間のフレーム間隔を示す。また、矢印にて示す８０１，８０２、８０３は、操作部１０５から出力される外部トリガのタイミングを示す。なお、図２と同様の動作部分については説明を省略する。

図６では、第２フレームの描画期間Ｐ２において、操作部１０５から出力される描画のやり直しの外部トリガ８０１があると、描画処理部１０１が描画期間Ｐ２を中断し、第３フレームの描画期間Ｐ３へ移行する。

第１フレームの伝送期間Ｑ１またはそれ以前に第２フレームの描画予測時間ｔ４０２から推定される伝送フレーム間隔ｔ４１１が表示装置１２へ伝達されているので、更新が必要になる。

そこで、描画時間予測部１０４は、第３フレームの描画時間ｔ４０３を予測し、描画期間Ｐ２の開始から外部トリガ８０１までの期間を加算して、新たな伝送フレーム間隔ｔ４１２を予測して表示装置１２に伝える。

制御部１１６は、更新された伝送フレーム間隔ｔ４１２に対して、表示走査期間のフレーム間隔の下限値と上限値から、表示走査期間の配置数を計算する。図５の例では、第１フレームの表示走査期間Ｒ１０に、Ｒ１１を追加配置することは困難と判断した場合を示している。追加配置するかどうかは、これまで説明してきた各実施の形態で記載された方法で判断すればよい。

表示走査期間Ｒ１０は、当初予定のフレーム間隔ｔ４１１と同じ表示走査期間のフレーム間隔を想定して、輝度補正や応答補正を行っているので、補正量の修正が必要となる。しかし、フレーム内での補正量変更境界が目立つので、補正量の修正をしないで、次のフレームでの輝度補正や応答補正を加減してもよい。

この輝度補正や応答補正の加減は、外部トリガによる描画映像変更がシーンチェンジのように大幅な切り換えである場合は適用せず、部分的な動きなどの場合だけ加減が適用できるように、外部トリガによる映像変更に関する情報を映像出力装置１１から表示装置１２へメタデータとして提供してもよい。

外部トリガ８０２および外部トリガ８０３は、描画期間に対して入るタイミングを順次遅らせた例を示している。第４フレームの描画期間Ｐ４において外部トリガ８０２が入ると、描画期間Ｐ５が開始され、更新された伝送フレーム間隔ｔ４１４が表示装置１２に伝えられる。これに伴い、表示走査期間Ｒ３０に加えて、表示走査期間Ｒ３１が追加される。

表示走査期間Ｒ３０における表示素子１１５の駆動は、当初予定の伝送フレーム間隔４１３と同じ表示走査期間のフレーム間隔を想定していたが、それが表示走査期間フレーム間隔ｔ４２３に短縮される。これによって、輝度補正や応答補正などの修正が必要になるが、表示走査期間Ｒ３０では修正せず、表示走査期間Ｒ３１での輝度補正や応答補正を加減する。

外部トリガ８０３は、第６フレームの描画期間Ｐ６の終了に近いタイミングにおいて入力されており、かつ伝送期間Ｃ５も終了している。

第４フレームの描画時間ｔ４０７の間に伝送期間Ｑ６が配置でき、かつ描画期間Ｐ６の主要部分が描画完了していると判断される場合、途中終了した描画期間Ｐ６のフレームを伝送期間Ｑ６で伝送し、表示走査期間Ｒ６０で表示素子１１５に与えてもよい。

伝送期間Ｑ６のフレームは、描画を中断したフレームなので、どの部分が不十分かの情報を映像出力装置１１から表示装置１２へ伝えておくことにより、不十分な映像部分を前フレームの映像に挿入して表示することもできる。もちろん、前フレーム映像を一部挿入した映像を映像出力装置１１にて生成して伝送期間Ｑ６に表示装置１２に伝送してもよい。

このように、描画時間予測部１０４は、描画期間中に外部トリガが入って描画をやり直す場合に、あらためて描画時間を予測し、次に伝送するフレームまでの間隔情報を修正して表示装置１２に伝送する。これによって、描画から表示までの遅延時間を短くすることが可能となり、高画質な映像を表示することができる。

以上、伝送期間を比較的自由に配置する例で説明してきたが、上記した技術は、いわゆるフレーム間引き映像伝送方式にも適用することができる。フレーム間引き映像伝送方式は、例えば２４０Ｈｚなどの高フレームレートであるが一定のフレームレートを用い、描画期間終了後で最も早いフレームで映像伝送を行い、それ以外は映像伝送しない方式である。

この場合、映像伝送するフレームに、次の映像伝送フレームまでの伝送フレーム間隔をフレーム単位で表記して表示装置に伝送することにより、上記の実施の形態１〜４と同様の効果を得ることができる。

以上によって、これまで述べてきたように、映像出力装置１１が描画時間を予測し、その予測をもとに各フレームの伝送間隔を表示装置１２に事前に伝えることにより、該表示装置１２は、その各フレーム伝送間隔に応じた表示走査期間の数や配置タイミングを決め、輝度補正および応答補正などの映像信号処理や、表示素子の駆動条件を最適に制御することができる。それにより、描画から表示までの遅延時間を短縮することができると共に、高画質の映像表示を実現することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

１０ 映像表示システム
１１ 映像出力装置
１２ 表示装置
１０１ 描画処理部
１０２ 送信部
１０３ 制御部
１０４ 描画時間予測部
１０５ 操作部
１１１ 受信部
１１２ 一時記憶部
１１３ 輝度補正部
１１４ 応答補正部
１１５ 表示素子
１１６ 制御部

Claims (3)

1. 第１のフレームの次フレームとなる第２のフレームの描画内容に基づいて、描画に必要な時間を予測し、前記予測された時間に基づき、前記第１のフレームの映像信号が出力開始されてから、前記第１のフレームの次フレームとなる第２のフレームの映像信号が出力開始されるまでの間隔を示すフレーム間隔情報を算出するフレーム間隔情報処理部と、
   前記映像信号および前記フレーム間隔情報処理部が算出した前記フレーム間隔情報を、映像を表示する表示装置に送信する送信部と、
   を有する、映像出力装置。
2. 請求項１記載の映像出力装置において、
   前記送信部は、前記算出されたフレーム間隔情報を前記第１のフレームの映像信号に付与して送信する、映像出力装置。
3. 請求項１記載の映像出力装置において、
   前記送信部は、前記算出されたフレーム間隔情報を前記第２のフレームの映像信号が出力開始されるよりも以前の期間に送信する、映像出力装置。

Images