JP6171350B2 - 映像処理装置、表示装置、半導体装置及び映像処理方法 - Google Patents

Description

本発明は、映像データをアップスケールする技術に関する。

高精細パネルを備えたプロジェクターやテレビジョン等の表示装置では、入力された映像データをアップスケールしてから映像を表示する。特許文献１は、ＨＤ画像データを記録したパッケージメディアを使用し、インターネットから取得したＨＤ画像データと４Ｋ２Ｋ画像データとの差分データを用いて、４Ｋ２Ｋ画像を再生することを開示している。特許文献１に記載の発明では、差分データを生成する際には、互いに異なるアップスケール処理モードの複数のアップスケーラーを用いて、ＨＤ画像データをアップスケール処理して４Ｋ２Ｋの解像度とし、４Ｋ２Ｋ画像データと各アップスケーラーからの画像データとの差分を求めている。

特開２０１０−１１１５４号公報

映像データをアップスケールするスケーラーでは、入出力の映像データのフレーム周波数が、特定のフレーム周波数に制限されることがある。よって、この種のスケーラーを備える表示装置では、入力映像データよりも低いフレーム周波数の映像データに基づいて、映像を表示しなければならない場合がある。
本発明は、上述した事情に鑑みてなされたもので、その目的の一つは、スケーラーによって制限されるフレーム周波数よりも高いフレーム周波数で、入力映像データをアップスケールするための技術を提供することである。

上記目的を達成するために、本発明に係る映像処理装置は、供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーと、時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給する第１処理部と、前記第１スケーラー及び前記第２スケーラーにより、前記第１処理部が供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量の差分に基づいて前記フレームの順番を規定してから出力する第２処理部とを備え、前記第１スケーラー及び前記第２スケーラーは、各々、自機における前記処理遅延量を測定し、前記第２処理部は、前記第１スケーラーにより測定された前記処理遅延量と、前記第２スケーラーにより測定された前記処理遅延量との差分に基づいて、前記処理後の映像データを、前記フレームの順番で出力する。
本発明によれば、入力映像データを、フレームの順番に従って第１スケーラー及び第２スケーラーに対して順次交互に供給し、各々のスケーラーによるアップスケール処理後の映像データを、入力映像データと同じフレームの順番で出力するので、スケーラーによって制限されるフレーム周波数よりも高いフレーム周波数で、入力映像データをアップスケールすることができる。

本発明に係る映像処理装置において、前記第１スケーラー及び前記第２スケーラーは、各々、自機における前記処理遅延量を測定し、前記第２処理部は、前記第１スケーラーにより測定された前記処理遅延量と、前記第２スケーラーにより測定された前記処理遅延量との差分に基づいて、前記処理後の映像データを、前記フレームの順番で出力するようにしてもよい。
本発明によれば、自機の処理遅延量を測定する機能を有するスケーラーを用いることにより、第１スケーラー及び第２スケーラーにおいて実測した処理遅延量の差分に基づいて、映像データのフレームの順番を規定することができる。

また、本発明に係る映像処理装置は、供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーと、時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給する第１処理部と、前記第１スケーラー及び前記第２スケーラーにより、前記第１処理部が供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量に基づいて、前記フレームの順番で出力する第２処理部と、フレームメモリーとを備え、前記第１スケーラーと前記第２スケーラーとの前記処理遅延量の差分が、閾値を超える場合に、前記第２処理部は、前記第１スケーラー及び前記第２スケーラーのうち、前記処理遅延量が小さい一方による前記処理後の映像データを、前記フレームメモリーに格納し、前記差分に応じたタイミングで読み出して出力する。
本発明によれば、第１スケーラーと第２スケーラーとの処理遅延量の差分が、閾値、例えば、１フレーム分のアップスケール処理による処理遅延量を超える場合であっても、スケーラーによって制限されるフレーム周波数よりも高いフレーム周波数で、入力映像データをアップスケールすることができる。

本発明に係る映像処理装置において、前記入力映像データは、フレーム周波数が６０Ｈｚの１０８０ｐの映像データであってもよい。
本発明によれば、入出力のフレーム周波数が例えば３０Ｈｚに制限されるスケーラーを用いた場合であっても、フレーム周波数が６０Ｈｚである１０８０ｐの入力映像データを、フレーム周波数が６０Ｈｚの映像データにアップスケールすることができる。

本発明に係る映像処理装置において、前記処理後の映像データは、４Ｋ２Ｋの映像データであってもよい。
本発明によれば、入出力のフレーム周波数が例えば３０Ｈｚに制限されるスケーラーを用いた場合であっても、フレーム周波数が６０Ｈｚである１０８０ｐの入力映像データを、フレーム周波数が６０Ｈｚの４Ｋ２Ｋの映像データにアップスケールすることができる。

本発明に係る表示装置は、供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーと、時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給する第１処理部と、前記第１スケーラー及び前記第２スケーラーにより、前記第１処理部が供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量の差分に基づいて前記フレームの順番を規定してから出力する第２処理部と、前記第２処理部により出力された映像データに基づいて映像を表示する表示部とを備え、前記第１スケーラー及び前記第２スケーラーは、各々、自機における前記処理遅延量を測定し、前記第２処理部は、前記第１スケーラーにより測定された前記処理遅延量と、前記第２スケーラーにより測定された前記処理遅延量との差分に基づいて、前記処理後の映像データを、前記フレームの順番で出力する。
本発明によれば、入力映像データを、フレームの順番に従って第１スケーラー及び第２スケーラーに対して順次交互に供給し、各々のスケーラーによるアップスケール処理後の映像データを、入力映像データと同じフレームの順番で出力するので、スケーラーによって制限されるフレーム周波数よりも高いフレーム周波数で、入力映像データをアップスケールした映像を表示することができる。
また、本発明に係る表示装置は、供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーと、時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給する第１処理部と、前記第１スケーラー及び前記第２スケーラーにより、前記第１処理部が供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量に基づいて、前記フレームの順番で出力する第２処理部と、前記第２処理部により出力された映像データに基づいて映像を表示する表示部とフレームメモリーとを備え、前記第１スケーラーと前記第２スケーラーとの前記処理遅延量の差分が、閾値を超える場合に、前記第２処理部は、前記第１スケーラー及び前記第２スケーラーのうち、前記処理遅延量が小さい一方による前記処理後の映像データを、前記フレームメモリーに格納し、前記差分に応じたタイミングで読み出して出力する。

なお、本発明は、映像処理装置及び表示装置のほか、半導体装置や映像処理方法としても概念することが可能である。

本発明の一実施形態に係るプロジェクターの全体構成を示すブロック図。 同実施形態に係る映像処理回路のハードウェア構成を示すブロック図。 同実施形態に係る第１処理部の動作の説明図。 同実施形態に係る第１処理部の動作の説明図。 同実施形態に係る第２処理部の動作の説明図。 処理遅延量が大きい場合の動作不具合の説明図。 映像処理回路のハードウェア構成の他の例を示すブロック図。 図７に示す映像処理回路に係る第２処理部の動作の説明図。

図１は、本発明の一実施形態に係るプロジェクター１の全体構成を示す図である。図１に示すように、プロジェクター１は、ここでは液晶プロジェクターであり、外部装置からの入力映像データに基づく映像を、スクリーン又は壁面に投写して表示する表示装置である。プロジェクター１は、画像投射部１０と、信号入力部２０と、映像処理回路３０とを備える。

画像投射部１０は、スクリーンＳに画像（映像）を投写する表示部である。画像投射部１０は、光源１１と、色光分離光学系１２と、ライトバルブ１３Ｒ、１３Ｇ及び１３Ｂと、色光合成光学系１４と、投写光学系１５と、液晶駆動回路１６とを有する。ライトバルブ１３Ｒ、１３Ｇ及び１３Ｂの各々を特に区別する必要のないときには、以下では、単に「ライトバルブ１３」と称する。光源１１は、投写光の光源であり、超高圧水銀ランプ又はメタルハライドランプ等の光源装置を有する。色光分離光学系１２は、光源１１から射出した光を、複数の色成分、ここでは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の色成分に分離する。各色成分に分離された光は、各々対応するライトバルブ１３に入射する。

ライトバルブ１３は、光変調装置であり、例えば透過型の液晶パネルを有する。液晶パネルにおいて、一対の透明電極間に液晶が封入されている。透明電極のうち一方は、マトリクス状に二次元配置された複数の画素に区分されている。各画素の液晶は、透明電極間に印加される電圧に応じた光学特性（例えば透過率）を示す。ライトバルブ１３では、各画素への印加電圧を制御することにより、入射光を画素毎に変調することができる。色光分離光学系１２で３つの色成分に分離された光は、ライトバルブ１３Ｒ、１３Ｇ及び１３Ｂによって色成分毎に画像が形成される。色光合成光学系１４は、ライトバルブ１３Ｒ、１３Ｇ、及び１３Ｂによって形成された色成分毎の画像を合成し、カラー画像を形成する。投写光学系１５は、色光合成光学系１４によって形成されたカラー画像をスクリーンＳに投写する装置であり、投写レンズを有する。液晶駆動回路１６は、映像処理回路３０から入力された映像データに基づいて、ライトバルブ１３を駆動する装置である。

信号入力部２０は、外部装置（図示略）から同期信号と入力映像データＶｉｄ−ｉｎとの入力を受け付け、入力を受け付けた同期信号と入力映像データＶｉｄ−ｉｎとを映像処理回路３０に出力する。外部装置は、例えば、ビデオ再生装置又はパーソナルコンピューターである。

同期信号は、垂直同期信号ＶＳと、水平同期信号ＨＳと、データイネーブル信号ＤＥとを含む。垂直同期信号ＶＳは、１垂直走査期間を規定する信号である。１垂直走査期間は、ここでは、垂直同期信号ＶＳが立ち上がった後の、立ち下がりエッジにより規定される。水平同期信号ＨＳは、１水平走査期間を規定する信号である。１水平走査期間は、ここでは、水平同期信号ＨＳが立ち上がった後の、立ち下がりエッジにより規定される。データイネーブル信号ＤＥは、入力映像データＶｉｄ−ｉｎが有効か否かを示す信号である。データイネーブル信号ＤＥがＨレベルの期間の入力映像データＶｉｄ−ｉｎは、有効であることを示し、データイネーブル信号ＤＥがＬレベルの期間の入力映像データＶｉｄ−ｉｎは、無効であることを示す。

入力映像データＶｉｄ−ｉｎは、ライトバルブ１３が有する複数画素の各画素の階調レベルを指定するデジタルデータ（階調データ）であり、例えば、１画素が３ドットで構成される。よって、入力映像データＶｉｄ−ｉｎは、１画素につき、Ｒ成分の階調データ、Ｇ成分の階調データ及びＢ成分の階調データを、各々８ビットのデジタルデータとして含んでいる。入力映像データＶｉｄ−ｉｎは、時間軸上で連続する複数フレームの映像データ（つまり動画を示す映像データ）で構成され、本実施形態では、フレーム周波数が６０Ｈｚの１０８０ｐの映像データである。ここにおいて、「１０８０ｐ」とは、１９２０画素×１０８０画素、又は、１４４０画素×１０８０画素の解像度の画像のことをいう。

映像処理回路３０は、信号入力部２０から入力された同期信号と入力映像データとに基づいて所定の映像処理を行い、処理後の同期信号と映像データとを、画像投射部１０（より具体的には、図１に示す液晶駆動回路１６）に出力する映像処理装置である。

図２は、映像処理回路３０のハードウェア構成を示すブロック図である。図２に示すように、映像処理回路３０は、第１処理部３１と、第１スケーラー３２と、第２スケーラー３３と、ＣＰＵ（Central Processing Unit）３４と、第２処理部３５とを有する。
第１処理部３１は、入力映像データＶｉｄ−ｉｎを、フレームの順番に従って、第１スケーラー３２及び第２スケーラー３３に対して、順次交互に供給する。第１処理部３１は、例えば、ＦＰＧＡ（Field-Programmable Gate Array）で例示されるＩＣ（つまり半導体装置）によって構成される。

図３は、第１処理部３１に入力される各信号の時系列変化を表すタイミングチャートを示す図である。図３に示すように、第１処理部３１に入力される垂直同期信号ＶＳ、水平同期信号ＨＳ及びデータイネーブル信号ＤＥは、複数フレームの各フレームで、信号レベルが「Ｈ」となる期間を含んでいる。例えば、垂直同期信号ＶＳは、第１〜第４フレームを含む各垂直走査期間（フレーム）の開始タイミングで、ＨレベルからＬレベルに立ち下がる。ここでは、垂直同期信号ＶＳは、１／６０秒毎にＨレベルからＬレベルに立ち下がる。入力映像データＶｉｄ−ｉｎにおいても、複数フレームの各フレームの映像を表す映像信号を含んでいる。

図４は、第１処理部３１から供給される各信号の時系列変化を表すタイミングチャートを示す図である。図４に示すように、第１処理部３１は、入力された同期信号（つまり、垂直同期信号ＶＳ、水平同期信号ＨＳ及びデータイネーブル信号ＤＥ）及び入力映像データＶｉｄ−ｉｎを、各々、奇数フレームに対応する信号と、偶数フレームに対応する信号とに分離し、分離した信号を互いに異なる系統で供給する。具体的には、第１処理部３１は、奇数フレームに対応する信号として、垂直同期信号ＶＳ１、水平同期信号ＨＳ１、データイネーブル信号ＤＥ１及び映像データＶｉｄ１−ａを、第１スケーラー３２に対して供給する。第１処理部３１は、偶数フレームに対応する信号として、垂直同期信号ＶＳ２、水平同期信号ＨＳ２、データイネーブル信号ＤＥ２及び映像データＶｉｄ２−ａを、第２スケーラー３３に対して供給する。

図４に示すように、垂直同期信号ＶＳ１、水平同期信号ＨＳ１、データイネーブル信号ＤＥ１及び映像データＶｉｄ１−ａは、各々、第１、３、・・・、（２ｎ−１）フレーム（ｎは１以上の整数。以下同じ。）という奇数フレームに対応する信号を含む。例えば、垂直同期信号ＶＳ１は、奇数フレームの開始タイミングのみで、ＨレベルからＬレベルに立ち下がる。すなわち、垂直同期信号ＶＳ１は、１／３０秒毎に、ＨレベルからＬレベルに立ち下がる。

一方で、垂直同期信号ＶＳ２、水平同期信号ＨＳ２、データイネーブル信号ＤＥ２及び映像データＶｉｄ２−ａは、各々、第２、４、・・・、２ｎフレームという偶数フレームに対応する信号を含む。例えば、垂直同期信号ＶＳ２は、偶数フレームの開始タイミングのみで、ＨレベルからＬレベルに立ち下がる。すなわち、垂直同期信号ＶＳ２は、１／３０秒毎に、ＨレベルからＬレベルに立ち下がる。
以上のとおり、第１処理部３１は、所定のフレーム周波数で入力された信号を、その周波数で時分割し、時分割した信号の供給先を、第１スケーラー３２と第２スケーラー３３とに交互に切り替えて供給する。よって、第１スケーラー３２又は第２スケーラー３３に供給される各信号は、フレーム周波数が３０Ｈｚの場合の信号と同等である。

第１スケーラー３２及び第２スケーラー３３は、各々、第１処理部３１から供給された映像データのアップスケール処理を行うスケーラー（すなわちアップスケーラー）である。第１スケーラー３２及び第２スケーラー３３は、ここでは、入出力のフレーム周波数が３０Ｈｚに制限され、１０８０ｐの映像データを４Ｋ２Ｋの映像データにアップスケールする。第１スケーラー３２は、映像データＶｉｄ１−ａのアップスケール処理を行って、アップスケール処理後の映像データＶｉｄ１−ｂを、第２処理部３５に供給する。第２スケーラー３３は、映像データＶｉｄ２−ａのアップスケール処理を行って、アップスケール処理後の映像データＶｉｄ２−ｂを、第２処理部３５に供給する。
ここにおいて、「４Ｋ２Ｋ」とは、４０９６画素×２０４３画素、又は、４０９６画素×２１６０画素の解像度の画像のことをいう。また、第１スケーラー３２及び第２スケーラー３３は、自機で行ったアップスケール処理に応じて、垂直同期信号、水平同期信号及びデータイネーブル信号を含む同期信号を、第２処理部３５に供給する（図示略）。第２処理部３５に供給される同期信号は、フレーム周波数が３０Ｈｚの場合の同期信号に対応している。

第１スケーラー３２及び第２スケーラー３３は、アップスケール処理以外にも、自機における処理遅延量を測定し、測定した処理遅延量をＣＰＵ３４に供給する機能を有している。
第１スケーラー３２及び第２スケーラー３３は、水平同期信号及び垂直同期信号を計測するカウンターを内部に有し、このカウンターを用いて、水平同期信号及び垂直同期信号の周波数を各々計測する。具体的には、第１スケーラー３２は、垂直同期信号ＶＳ１の供給に同期してカウンターのカウント値をリセットし、この垂直同期信号ＶＳ１の供給タイミングを、遅延処理量の測定の基準タイミングとする。そして、第１スケーラー３２は、水平同期信号ＨＳ１の供給に同期してカウント値を更新し、１フレームの映像データについてアップスケール処理を行ったときのカウント値を、自機における処理遅延量とする。第２スケーラー３３においても、第１スケーラー３２と同じ方法で、垂直同期信号ＶＳ２と水平同期信号ＨＳ２とに基づき、自機における処理遅延量を測定する。すなわち、第１スケーラー３２及び第２スケーラー３３は、自機において１フレームの映像データのアップスケール処理に要する時間を、処理遅延量として測定する。本実施形態では、第１スケーラー３２が供給した処理遅延量を「ｄｅｌａｙ１」と表し、第２スケーラー３３が供給した処理遅延量を「ｄｅｌａｙ２」と表す。
なお、第１スケーラー３２及び第２スケーラー３３は、例えば、垂直同期信号が供給される度に、処理遅延量を測定する。この場合、第１スケーラー３２及び第２スケーラー３３は、毎フレームについて処理遅延量を測定することとなる。

ＣＰＵ３４は、映像処理回路３０の各部を制御する制御回路である。ＣＰＵ３４は、例えば、第１スケーラー３２から供給された処理遅延量ｄｅｌａｙ１と、第２スケーラー３３から供給された処理遅延量ｄｅｌａｙ２との差分Δｄに基づいて、第２処理部３５を制御する。ＣＰＵ３４が差分Δｄに基づいて行う制御について、詳しくは後述する。
なお、ＣＰＵ３４は、映像処理回路３０における他の部分を制御する制御信号も供給するが、図２ではその図示を省略している。

第２処理部３５は、第１スケーラー３２及び第２スケーラー３３の各々から、アップスケール処理後の映像データＶｉｄ１−ｂ及びＶｉｄ２−ｂが供給されると、供給された映像データＶｉｄ１−ｂ及びＶｉｄ２−ｂを合成した映像データＶｏを画像投射部１０へ出力する出力処理を行う。第２処理部３５は、例えば、ＦＰＧＡで例示されるＩＣ（半導体装置）によって構成される。
具体的には、第２処理部３５は、ＣＰＵ３４から供給された差分Δｄに基づき、映像データＶｉｄ１−ｂ及びＶｉｄ２−ｂを、入力映像データＶｉｄ−ｉｎにおけるフレームの順番に一致させるように合成して、映像データＶｏを出力する。映像データＶｏのフレーム周波数は、入力映像データＶｉｄ−ｉｎと同じ、６０Ｈｚである。第２処理部３５は、映像データＶｏと同期して、垂直同期信号ＶＳｏ、水平同期信号ＨＳｏ及びデータイネーブル信号ＤＥｏを出力する。垂直同期信号ＶＳｏ、水平同期信号ＨＳｏ及びデータイネーブル信号ＤＥｏは、フレーム周波数が６０Ｈｚの場合の信号と同等である。垂直同期信号ＶＳｏ、水平同期信号ＨＳｏ、データイネーブル信号ＤＥｏ及び映像データＶｏの時系列変化は、各々、垂直同期信号ＶＳ、水平同期信号ＨＳ、データイネーブル信号ＤＥ及び映像データＶｉｄ−ｉｎとは厳密には異なるが、図３に示す時系列変化に近い変化を示す。

次に、第２処理部３５が差分Δｄに基づいて行う映像データＶｏの出力処理について、図５を参照して説明する。以下、映像データＶｏの出力処理を説明するが、映像データＶｏと同期して、垂直同期信号ＶＳｏ、水平同期信号ＨＳｏ及びデータイネーブル信号ＤＥｏの各信号も、第２処理部３５により出力される。

図５は、第２処理部３５により出力される映像データＶｏの時系列変化を表すタイミングチャートを示す図である。図５に示すように、ここでは、差分Δｄが、閾値、つまり１フレームのアップスケール処理による処理遅延量を超えない場合を考える。この場合の差分ΔｄをΔｄ１と表す。差分Δｄ１は、映像データＶｉｄ１−ｂ及びＶｉｄ２−ｂにおける、１フレーム（ここでは、１／３０秒）よりも短い。
この場合、第１スケーラー３２からの映像データＶｉｄ１−ｂと、第２スケーラー３３からの映像データＶｉｄ２−ｂとが、フレーム毎に、第２処理部３５に順次交互に供給される。よって、第２処理部３５は、第１スケーラー３２から供給された映像データＶｉｄ１−ｂと、第２スケーラー３３から供給された映像データＶｉｄ２−ｂとを、自機に供給された順番に従って順次出力することにより、入力映像データＶｉｄ−ｉｎと同じフレームの順番で映像データＶｏを出力することができる。

映像処理回路３０では、入力映像データＶｉｄ−ｉｎが別の映像データに変更されたりするまでは、第１スケーラー３２及び第２スケーラー３３が有するフレームロック機能を用いること等によって、差分Δｄを一定させることができる。よって、ＣＰＵ３４は、アップスケール処理の開始時に差分Δｄを求めて、この差分Δｄに基づく映像データＶｏの出力処理を継続して行えばよい。ただし、映像処理回路３０において、１又は複数フレーム毎に差分Δｄを求めて、映像データＶｏの出力処理を行ってもよい。

ところで、第１スケーラー３２における処理遅延量ｄｅｌａｙ１と、第２スケーラー３３における処理遅延量ｄｅｌａｙ２との処理遅延量の差分Δｄが、何らかの原因により、１フレーム分のアップスケール処理による処理遅延量を超えた場合、第２処理部３５において以下のような動作不具合が発生することがある。

図６は、処理遅延量の差分Δｄが大きい場合の動作不具合を説明する図である。図６に示すように、ここでは、ｄｅｌａｙ２＞ｄｅｌａｙ１の場合であって、差分Δｄ（＝Δｄ２）が、映像データＶｉｄ１−ｂとＶｉｄ２−ｂとの１フレーム（ここでは、１／３０秒）を超える場合を考える。
この場合、第２処理部３５には、第１スケーラー３２からの映像データＶｉｄ１−ｂが、２フレーム分続けて供給されることがある（図６の例では、第（２ｎ−１）フレーム及び第（２ｎ＋１）フレーム）。この場合、第２処理部３５が、映像データＶｉｄ１−ｂと、映像データＶｉｄ２−ｂとを、自機に供給された順で出力すると、映像データＶｏにおけるフレームの順番は、第（２ｎ−１）、（２ｎ＋１）、２ｎ、（２ｎ＋３）、（２ｎ＋２）、（２ｎ＋５）、（２ｎ＋４）フレーム、・・・となり、入力映像データＶｉｄ−ｉｎにおけるフレームの順番と異なる。この種の動作不具合が発生しないように、第２処理部３５は、差分Δｄに基づいて、以下のとおりに映像データＶｏの出力処理を行えばよい。

図７は、映像処理回路３０の他の例のハードウェア構成を示すブロック図である。図７に示すように、この映像処理回路３０は、第１処理部３１と、第１スケーラー３２と、第２スケーラー３３と、ＣＰＵ３４と、第２処理部３５と、フレームメモリー３６とを有する。第１処理部３１と、第１スケーラー３２と、第２スケーラー３３と、ＣＰＵ３４と、第２処理部３５とは、図２に示す映像処理回路３０の場合と同じハードウェア構成であってよい。
フレームメモリー３６は、１フレーム分の映像データを格納するための記憶領域を有するメモリーである。フレームメモリー３６は、ＣＰＵ３４の制御の下で、第２処理部３５から供給された映像データを記憶したり、記憶した映像データを第２処理部３５に供給したりする。

図８は、図７に示す第２処理部３５により出力される映像データＶｏの時系列変化を表すタイミングチャートを示す図である。図８に示すように、ここでも、図６に示す場合と同様、差分Δｄ＝Δｄ２の場合を考える。
第２処理部３５は、第（２ｎ−１）フレームの映像データＶｉｄ１−ｂが供給されると、これを画像投射部１０に出力する。次に、第２処理部３５には、第（２ｎ＋１）フレームの映像データＶｉｄ１−ｂが供給される。ここで、第２処理部３５は、差分Δｄに基づいて、第（２ｎ＋１）フレームの映像データＶｉｄ１−ｂを画像投射部１０に出力せずに、フレームメモリー３６に格納する（図８の「手順ａ」）。次に、第２処理部３５は、第２スケーラー３３から第２ｎフレームの映像データＶｉｄ２−ｂが供給されると、この映像データＶｉｄ２−ｂを、第（２ｎ−１）フレームの映像データＶｉｄ１−ｂに続けて出力する（図８の「手順ｂ」）。

第２ｎフレームの映像データＶｉｄ１−ｂを出力すると、第２処理部３５は、第（２ｎ＋１）フレームの映像データをフレームメモリー３６から読み出して、画像投射部１０に出力する（図８の「手順ｃ」）。ここにおいて、第２処理部３５は、第２ｎフレームの映像データＶｉｄ２−ｂを出力してから、次のフレームの映像データを出力するまでに、第（２ｎ＋１）フレームの映像データを、画像投射部１０に出力すればよい。

以降においても、第２処理部３５では前述した動作が繰り返される。
例えば、第２処理部３５は、第（２ｎ＋１）フレームの映像データＶｉｄ１−ｂを画像投射部１０に出力した後、第（２ｎ＋３）フレームの映像データＶｉｄ１−ｂが供給されると、これを画像投射部１０に出力せずに、フレームメモリー３６に格納する（図８の「手順ｄ」）。ここでの映像データＶｉｄ１−ｂの格納は、既に読み出された第（２ｎ＋１）フレームの映像データへの上書きによって行われてよい。

次に、第２処理部３５は、第２スケーラー３３から、第（２ｎ＋２）フレームの映像データＶｉｄ２−ｂが供給されると、この映像データＶｉｄ２−ｂを、第（２ｎ＋１）フレームの映像データＶｉｄ１−ｂに続けて、画像投射部１０に出力する（図８の「手順ｅ」）。第（２ｎ＋２）フレームの映像データＶｉｄ１−ｂを出力すると、第２処理部３５は、第（２ｎ＋３）フレームの映像データを、フレームメモリー３６から読み出して、画像投射部１０に出力する（図８の「手順ｆ」）。ここにおいて、第２処理部３５は、第（２ｎ＋２）フレームの映像データＶｉｄ２−ｂを出力してから、次のフレームの映像データを出力するまでに、第（２ｎ＋３）フレームの映像データをフレームメモリー３６から読み出して出力する。
以上の手順の出力処理により、映像処理回路３０では、差分Δｄが１フレーム分の処理遅延量を超えた場合であっても、フレームの順番を変更することなく、映像データＶｏを出力することができる。

以上説明したように、プロジェクター１では、入力映像データを、フレーム順に従って、２つのスケーラーに対して順次交互に供給し、各々のスケーラーによりアップスケール処理が行われた後の映像データを合成して、出力する。例えば１０８０ｐの映像データを４Ｋ２Ｋの映像データにアップスケールするスケーラーでは、入出力のフレーム周波数が３０Ｈｚに制限されている場合がある。この場合であっても、プロジェクター１によれば、６０Ｈｚのフレーム周波数の１０８０ｐの入力映像データを、実質的に、６０Ｈｚのフレーム周波数の４Ｋ２Ｋの映像データにアップスケールして、映像を表示することができる。

また、プロジェクター１では、自機の処理遅延量を測定することのできるスケーラーを用いることにより、各々のスケーラーで実測された処理遅延量の差分に基づいて、アップスケール処理後の映像データのフレームの順番を規定することができる。
また、一方のスケーラーにおける処理遅延量が、他方のスケーラーにおける処理遅延量に比べて大きい場合であっても、プロジェクター１では、フレームメモリーを用いて、各フレームの映像データの出力タイミングを調整する（つまり遅延させる）ことにより、入力映像データと異なるフレームの順番で、アップスケール処理後の映像データのフレームの順番が規定されるのを防止することができる。

また、本発明は、上述した実施形態と異なる形態で実施することが可能である。以下に示す変形例は、各々を適宜に組み合わせてもよい。
上述した実施形態では、映像処理回路３０は、１０８０ｐの映像データを４Ｋ２Ｋの映像データにアップスケールしていたが、アップスケール前後の映像データの解像度（画素数）は、この例に限らない。
例えば、映像処理回路３０は、４８０ｉのコンポジット映像信号やＳ端子映像を表す入力映像データの解像度を、７２０ｐ、１０８０ｉ又は８Ｋ４Ｋ等の解像度の映像データにアップスケールしてもよい。本発明では、スケーラーが持つ機能に応じたアップスケールを行って、アップスケール処理後の映像データを出力することができる。また、本発明では、アップスケール処理の具体的なアルゴリズムについても特に問わない。

上述した実施形態の映像処理回路３０では、第１スケーラー３２及び第２スケーラー３３が、各々、自機における処理遅延量を測定し、ＣＰＵ３４に測定結果を供給する機能を有していた。これに対し、第１スケーラー３２及び第２スケーラー３３が、処理遅延量の測定機能を有さないものであってもよい。例えば、第１スケーラー３２及び第２スケーラー３３における処理遅延量の差分Δｄが、１フレーム分の処理遅延量以上とならないように、ＣＰＵ３４による制御が行われれば、スケーラーによる処理遅延量の測定機能を用いなくとも、フレームの順番を維持して映像データを出力することが可能である。

仮に、第１スケーラー３２及び第２スケーラー３３における処理遅延量の差分Δｄが、２フレーム分以上になったと仮定しても、プロジェクター１では、２フレーム分以上の映像データを格納することができるフレームメモリーを用いることによって、入力映像データＶｉｄ−ｉｎにおけるフレームの順番で、映像データＶｏを出力することができる。

また、第２処理部３５が、ＣＰＵ３４による制御なしに、差分Δｄに基づいて映像データＶｏの出力処理を行うことができる場合には、ＣＰＵ３４は差分Δｄを第２処理部３５に通知するだけでもよい。

本発明の情報処理装置では、３つ以上のスケーラーを並行動作させて、アップスケール処理を行ってもよい。この場合であっても、本発明の情報処理装置の２つのスケーラーに着目すると、第１処理部は、入力映像データを、フレームの順番に従って、２つのスケーラーに対して順次交互に供給する。第２処理部は、アップスケール処理後に、２つのスケーラーにより各々供給された映像データを、これらの２つのスケーラーにおける処理遅延量に基づいて、入力映像データと同じフレームの順番で出力する。

また、映像処理回路３０における詳細な構成は、図２及び図７で説明したものに限定されない。映像処理回路３０に、図２で説明したものの一部が省略されてもよいし、図２にない処理部が追加されてもよい。
また、本発明の情報処理装置が実現する機能は、ハードウェア資源若しくはソフトウェア資源の一方、又は、それらの協働によって実現することが可能である。例えば、本発明は、コンピュータが実行するプログラムとして提供することも可能である。

また、プロジェクター１は、各色成分に対応する複数のライトバルブ１３を有するものに限定されない。プロジェクター１は、単一のライトバルブ１３を有していてもよい。この場合、光学フィルター等を用いて画素毎に対応する色が設定される。また、ライトバルブ１３は、透過型の液晶パネルを用いたものに限定されない。プロジェクター１は、反射型の液晶パネル、又は、有機ＥＬ（Electro-Luminescence）パネル等の液晶以外の電気光学素子、若しくはデジタルミラーデバイス等を用いたものであってもよい。また、光源１１は、ＬＥＤ（Light Emitting Diode）やレーザー等の固体光源であってもよい。

本発明の表示装置は、プロジェクターに限定されない。本発明の表示装置は、テレビジョン、カーナビゲーション装置、テレビ電話、デジタルスチルカメラ、携帯電話機、スマートフォン、タブレット端末又はパーソナルコンピューター等であってもよい。

１…プロジェクター、１０…画像投射部、２０…信号入力部、３０…映像処理回路、３１…第１処理部、３２…第１スケーラー、３３…第２スケーラー、３４…ＣＰＵ、３５…第２処理部、３６…フレームメモリー。

Claims (10)

1. 供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーと、
   時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給する第１処理部と、
   前記第１スケーラー及び前記第２スケーラーにより、前記第１処理部が供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量の差分に基づいて前記フレームの順番を規定してから出力する第２処理部と
   を備え、
   前記第１スケーラー及び前記第２スケーラーは、各々、自機における前記処理遅延量を測定し、
   前記第２処理部は、前記第１スケーラーにより測定された前記処理遅延量と、前記第２スケーラーにより測定された前記処理遅延量との差分に基づいて、前記処理後の映像データを、前記フレームの順番で出力する
   映像処理装置。
2. 供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーと、
   時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給する第１処理部と、
   前記第１スケーラー及び前記第２スケーラーにより、前記第１処理部が供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量に基づいて、前記フレームの順番で出力する第２処理部と、
   フレームメモリーと
   を備え、
   前記第１スケーラーと前記第２スケーラーとの前記処理遅延量の差分が、閾値を超える場合に、
   前記第２処理部は、
   前記第１スケーラー及び前記第２スケーラーのうち、前記処理遅延量が小さい一方による前記処理後の映像データを、前記フレームメモリーに格納し、前記差分に応じたタイミングで読み出して出力する
   映像処理装置。
3. 前記入力映像データは、フレーム周波数が６０Ｈｚの１０８０ｐの映像データである
   請求項１または２に記載の映像処理装置。
4. 前記処理後の映像データは、４Ｋ２Ｋの映像データである
   請求項３に記載の映像処理装置。
5. 供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーと、
   時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給する第１処理部と、
   前記第１スケーラー及び前記第２スケーラーにより、前記第１処理部が供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量の差分に基づいて前記フレームの順番を規定してから出力する第２処理部と、
   前記第２処理部により出力された映像データに基づいて映像を表示する表示部と
   を備え、
   前記第１スケーラー及び前記第２スケーラーは、各々、自機における前記処理遅延量を測定し、
   前記第２処理部は、前記第１スケーラーにより測定された前記処理遅延量と、前記第２スケーラーにより測定された前記処理遅延量との差分に基づいて、前記処理後の映像データを、前記フレームの順番で出力する
   表示装置。
6. 供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーと、
   時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給する第１処理部と、
   前記第１スケーラー及び前記第２スケーラーにより、前記第１処理部が供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量に基づいて、前記フレームの順番で出力する第２処理部と、
   前記第２処理部により出力された映像データに基づいて映像を表示する表示部と
   フレームメモリーと
   を備え、
   前記第１スケーラーと前記第２スケーラーとの前記処理遅延量の差分が、閾値を超える場合に、
   前記第２処理部は、
   前記第１スケーラー及び前記第２スケーラーのうち、前記処理遅延量が小さい一方による前記処理後の映像データを、前記フレームメモリーに格納し、前記差分に応じたタイミングで読み出して出力する
   表示装置。
7. 供給された映像データのアップスケール処理を行い、各々、自機における処理遅延量を測定する第１スケーラー及び第２スケーラーに対して、時間軸上で連続する複数フレームの入力映像データが、フレームの順番に従って順次交互に供給され、前記第１スケーラー及び前記第２スケーラーにより、前記供給された映像データの前記アップスケール処理が行われると、
   当該処理後の映像データを、前記第１スケーラーにより測定された前記処理遅延量と、前記第２スケーラーにより測定された前記処理遅延量との差分に基づいて、前記フレームの順番で出力する
   半導体装置。
8. 供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーに対して、時間軸上で連続する複数フレームの入力映像データが、フレームの順番に従って順次交互に供給され、前記第１スケーラー及び前記第２スケーラーにより、前記供給された映像データの前記アップスケール処理が行われると、
   当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量に基づいて、前記フレームの順番で出力し、
   前記第１スケーラーと前記第２スケーラーとの前記処理遅延量の差分が、閾値を超える場合に、
   前記第１スケーラー及び前記第２スケーラーのうち、前記処理遅延量が小さい一方による前記処理後の映像データを、フレームメモリーに格納し、前記差分に応じたタイミングで読み出して出力する
   半導体装置。
9. 供給された映像データのアップスケール処理を行、各々、自機における処理遅延量を測定する第１スケーラー及び第２スケーラーを用いた映像処理方法であって、
   時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給するステップと、
   前記第１スケーラー及び前記第２スケーラーにより、前記供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラーにより測定された前記処理遅延量と、前記第２スケーラーにより測定された前記処理遅延量との差分に基づいて、前記フレームの順番で出力するステップと
   を有する映像処理方法。
10. 供給された映像データのアップスケール処理を行う第１スケーラー及び第２スケーラーを用いた映像処理方法であって、
    時間軸上で連続する複数フレームの入力映像データを、フレームの順番に従って、前記第１スケーラー及び前記第２スケーラーに対して、順次交互に供給するステップと、
    前記第１スケーラー及び前記第２スケーラーにより、前記供給した映像データの前記アップスケール処理が行われると、当該処理後の映像データを、前記第１スケーラー及び前記第２スケーラーにおける処理遅延量に基づいて、前記フレームの順番で出力するステップと
    を有し、
    前記第１スケーラーと前記第２スケーラーとの前記処理遅延量の差分が、閾値を超える場合に、
    前記出力するステップにおいて、
    前記第１スケーラー及び前記第２スケーラーのうち、前記処理遅延量が小さい一方による前記処理後の映像データを、フレームメモリーに格納し、前記差分に応じたタイミングで読み出して出力する
    映像処理方法。

Images